نظام استرجاع معلومات للغة العربية

Transcript

1 الجمهورية العربية السورية جامعة تشرين كلية الهندسة المعلوماتية نظام استرجاع معلومات للغة العربية مشروع تخرج تقديم شعبان الخطيب شاهين العابدين زين سليمان عريس بإش ارف ناصر ناصر د ج راد عالء م

2 2

3 الفهرس الفصل األول الفصل الثاني ملخص مقدمة محرك البحث ما هو محرك البحث على الويب تاريخ محركات البحث أهمية محرك البحث على الويب آلية عمل محرك البحث على الويب Crawling آلية عمل الCrawling سياسات عمل ال Crawler فخ ال Crawler استرجاع المعلومات information retrieval تضخم المعلومات المشاكل اللغوية في استرجاع المعلومات الم اردفات (Synonyms) األلفاظ المتجانسة (Homographs) تغي ارت الكلمة variations) (Word لغات الفهرسة languages) (Indexing اللغات الغير متحكم بها اللغات المتحكم بها النهج اإلحصائي النهج اللغوي نماذج استرجاع المعلومات الرئيسية النموذج المنطقي النماذج اإلحصائية الفضاء الشعاعي نموذج الفضاء الشعاعي وزن المصطلحات 3

4 28 31 النماذج االحتمالية نموذج اللغة الفصل الثالث استرجاع نظم في النصوص عن التنقيب المعلومات 33 استرجاع نظام المعلومات النصوص( Mining (Text التطبيقات النموذجية لتحليل العربية اللغة بنية الفصل ال اربع Stemming التجريد ما الفائدة من التجريد 38 خوارزمية Stemming Algorithms التجريد االنكليزية اللغة في التجريد خوارزمية مارتن جيب بورتر ريفرينس poerter stemmer خوارزمية بورتر التجريد في اللغة العربية التجريد الخفيف Light Stemming الكلمات أو ازن تحليل البسيط المجر د 49 الكلمات تحليل المت ارفقة الطرق التجريد في اإلحصائية تجريد خوارزمية Khoja خوارزمية ISRI العربية اللغة لتجريد 57 Documents Clustering الفصل الخامس عنقدة المستندات تصنيف خوارزميات العنقدة خوارزميات العنقدة K-Means Algorithm خطوات خوارزمية K-Means األساسية Residual Sum of Squares شرط التوقف الخيار السيء لحالة البداية الفصل السادس القسم العملي 4

5 األدوات المستخدمة في المشروع خطوات العمل آلية العمل خوارزمية إنشاء الجدول HashMap خوارزمية حساب IDF التعقيد الزمني للفهرسة آلية التخزين آلية استرجاع النتائج خوارزمية Cosine Similarity أمثلة اإلضافات على محرك البحث الم ارجع

6 ملخص تحتل الد ارسات التي تتناول حوسبة اللغة العربية أهمية كبيرة نظ ار لالنتشار الواسع للغة العربية, و اخترنا في هذه الد ارسة العمل على معالجة اللغة العربية من خالل نظام استرجاع معلومات للمستندات باللغة العربية, الفكرة األساسية لهذا النظام هو تحليل المستندات والنصوص العربية و إنشاء فهارس للمصطلحات الواردة فيها, ومن ثم استخالص أشعة أو ازن تعبر عن هذه المستندات من أجل المعالجة الالحقة لالستعالم و المقارنة مع هذه األشعة للحصول على المستندات الموافقة لهذا االستعالم من خالل عملية تجريد للمصطلحات الواردة في المستندات تم الحصول على كفاءة استرجاع أفضل, و تعرضنا للعديد من خوارزميات التجريد التي وصلت إليها الد ارسات السابقة و تأتي عملية عنقدة المستندات كإضافة هامة, حيث يتمكن المستخدم من معرفة المستندات المشابهة لنتيجة البحث و التي لها صلة باالستعالم المدخل في التطبيق العملي, تم العمل على نظام استرجاع معلومات مكتبي, يقوم بق ارءة نصوص ذات أنواع مختلفة و عرض النتائج مع العناقيد الموافقة لها 6

7 مقدمة المهيكلة Structured Data األبحاث تناولت المعطيات عن التنقيب في الماضية البيانات البيانات, إلخ, البيانات قواعد مثل العالئقية,مخازن المناقالت فإن عملي بشكل ولكن, الضخمة الكمية من البيانات بيانات بقواعد متوفرة نصية ) مثل قاعدة بيانات لملفات نصية,)والتي مجموعة كبيرة من بدورها تتألف مقاالت مثل مختلفة مصادر من المستندات من من صحف إخبارية, أو ارق بحث,كتب,مكتبات الكترونية,رسائل بريد الكتروني,صفحات وب,كما على الرقمية للبيانات الهائل للت ازيد كبير نظ ار بشكل تنمو النصية البيانات قواعد فإن نالحظ الوب,وبالتالي البحث بين واسعة ثغرة هناك أصبح والمعالجة السترجاع هذه من معلومة الهائلة البيانات كمية وبين المستندات نصية بيانات قاعدة في المخز نة البيانات مهيكلة غير أو جزئي بشكل مهيكلة أما بيانات هي مثال ) حقول تحوي أن يمكن أو مقالة نصي مستند المثال سبيل نهائيا,على العنوان,الكاتب, ملخ ص, تاريخ النشر,الصنف ), حقول ضخمة تحوي بالمقابل ولكن مثال( مهيكلة غير استرجاع بنظام ما يعرف إلى الحاجة ظهرت من هنا المعلومات المحتوى, ( في البداية ظهرت فكرة ال web dictionary, إلد ارج بعض المواقع من تصنيفات معينة ضمن مجموعات تسهل عملية البحث لكن هذه التقنية مشغلة من قبل االنسان و لهذا في تستغرق وقتا كبي ار ولن تستطيع تغطية االزدياد الكبير في عدد المواقع على شبكة الويب ومن هنا جاءت فكرة محرك بحث يقوم بشكل أتوماتيكي بتنظيم البيانات في فهرس جاهز يستطيع المستخدم أن يستعلم منه في أي وقت 7

8 الفصل األول : محرك البحث 0-0- ما هو محرك البحث على الويب محرك البحث بشكل عام هو أحد تقنيات التعامل مع نظام مخصص مصمم للبحث عن معلومات على نظام حاسوبي ما تدعى النتائج التي يقدمها محرك البحث على نظام حاسوبي hits محرك البحث على الويب هو نظام مخصص للبحث عن المعلومات على شبكة world يستقبل محرك البحث على الويب االستعالمات من المستخدمين ويقوم بمقارنتها wide web )بخوارزميات معينة( مع فهرس قام بإنشائه مسبقا الختبار المعلومات ذات الصلة ومن ثم عرضها للمستخدم على شكل خط من النتائج يعرف ب صفحات نتائج محرك البحث Search Engine Results Pages SERPs 1994 توالى ظهور محركات البحث بعد ذلك, ومنها دليل Yahoo! عام, الذي لم يكن محرك بحث بحد ذاته حيث بقيت Yahoo! معتمدة على مصادر خارجية للبحث على شبكة الويب حتى عام 2112 حيث طرحت محرك بحث خاص بها العمل في الخلفية على محرك محرك 1997 البحث العمالق حاليا بدأ عام 1996 وتم حجز النطاق googlecom عام Bing حاليا بدأ عام 1997 ومحرك بحث MSN البحث askjeevescom أو askcom [1] ظهر عام حاليا تاريخ محركات البحث 1991 FTP كان Archie أول أداة لفهرسة محتويات مخدمات في العالم, قيد العمل عام v Archive االسم Archie مشتق من الكلمة بدون حرف وكان يعتمد على االتصال بشكل anonymous دوري ب مخدمات FTP تسمح بالتحميل العام مجهول الهوية ويطلب قائمة بأسماء الملفات الموجودة لديها االتصال بمخدمات الFTP المذكورة كان يتم بفت ارت متباعدة مرة كل شهر أو أقل حتى لتفادي حجز واضاعة موارد المخدم البعيد يتم تخزين رد المخدمات بملفات محلية, و يستطيع المستخدم البحث في هذه الملفات عبر أمر grep من 8

9 Archie نظام unix لم يكن قاد ار على إج ارء عمليات بحث على المحتوى و على الرغم من أنه ليس محرك بحث فعلي وال يقوم بالبحث على الويب إال أن ه يعتبر أول محرك بحث على "االنترنت" مع ظهور بروتوكول Gopher للتوزيع و استرجاع المستندات على االنترنت, ظهر محركا بحث جديدان هما Veronica ( Very Easy Rodent-Oriented Net-Wide Index Jughead (Jonzy's Universal Gopher Hierarchy و Computerized Archives) يسمح األول Veronica بالبحث باستخدام كلمات مفتاحية Exavation And Display) Jughead ضمن غالبية قوائم العناوين على مخدمات Gopher, بينما يعتبر أداة للبحث عن معلومات القوائم على مخدمات Gopher محددة 1993 أول محرك بحث على شبكة الويب كان W3Catalog في الثاني من أيلول عام indexer لم يكن معتمدا على Crawler و و إنما على قوائم بنوعية عالية لمواقع الويب, من سيئاته أن محركه الصغير bot كان يحاول الوصول للصفحة مئات الم ارت في اليوم الواحد مما [1] يؤدي إلى انخفاض أداء مخدمات الويب 2-0- أهمية محرك البحث على الويب بلغ عدد المواقع على الويب في نهاية عام 2112 حوالي مليون موقع, منها 594 WordPress مليون موقع تم إضافته في عام 2112 فقط بينما تضيف مجموعة فقط 411,111 مليون موقع, ويساهم مستخدموها في إضافة 511,111 منشور و تعليق يوميا, في Facebook يتم تحميل ما يعادل 25 بليون صورة شهريا إلى موقع التواصل االجتماعي 87 حين يضم موقع Tumblr مليون مدونة هذه األرقام ليست بسيطة هناك ت ازيد هائل في حجم المعلومات, وحاجة المستخدم الفورية لهذه المعلومات محرك البحث على الويب لن يقدم المعلومة فقط بل سيقدم أفضل معلومة نسبيا ففي حين قد ال يكون مصدر المعلومة موثوقا على االنترنت, تقوم بعض محركات البحث بتطبيق خوارزميات ذكية تدرس سلوك المستخدمين اآلخرين لزيادة أو إنقاص تقييم بعض الصفحات وعرضها بأولويات متفاوتة حسب مصداقيتها 9

10 هناك أيضا مستخدمون مؤذون على شبكة االنترنت قد يضعون محتوى وهمي أو مضر للمستخدمين اآلخرين, يقوم محرك البحث تلقائيا بفلترة المحتوى المؤذي أو غير المفيد حسب سلوك المستخدمين السابقين أو حسب تقييم بعض شركات مضادات الفيروسات والملفات [1] المشبوهة 2-0- آلية عمل محرك البحث على الويب Spiders Crawlers يقوم محرك البحث بإرسال ب ارمج صغيرة تدعى أو تقوم هذه الب ارمج بتحميل صفحات مخدم ما وتفقد كل الروابط فيها وجمع كل المعلومات الممكنة عن هذه الصفحات تعود المعلومات التي جمعتها Crawlers لتتم فهرستها ومن ثم ترتيبها وتخزينها في فهرس ذكي عندما يرد استعالم إلى محرك البحث على الويب, يقوم المحرك بالبحث فقط في الفهرس ويرتب النتائج حسب أهميتها, أولويتها, وصلتها بعملية البحث ومن ثم يعرضها [1] على المستخدمين Crawling الCrawler : هو عبارة عن أو Web bot يقوم بتصفح االنترنت Internet bot بشكل منهجي بغرض الفهرسة ال : هو تصغير ل, هو برنامج يعمل ك زبون لبرنامج آخر ليحاكي بذلك robot bot سلوك المستخدم يؤدي مهام عادة ما تكون بسيطة وتك اررية بمعدل كبير ال يستطيع أن يقوم به اإلنسان لوحده ال : Internet bot هو تطبيق برمجي يقوم بأداء مهام مؤتمتة على شبكة االنترنت 11

11 آلية عمل ال Crawler URLs ينظم الCrawler رتل من العناوين يقوم بطلبها وتحميلها بشكل متتالي حسب مجدول زمني, يبحث في كل منها عن المعلومات التي يحتاجها فيخزنها لتتم فهرستها الحقا, ومن ثم يقوم باستخ ارج كل الروابط الموجودة في الصفحة التي قام بتحميلها و إضافتها إلى رتل الصفحات التي سيقوم بزيارتها شكل 1 آلية عمل الCrawler يبحث الCrawler عن المعلومات في الصفحات التي يزورها في المصادر التالية : The website URL عنوان الموقع The web page title عنوان الصفحة The meta tag information : HTML أمارة البيانات اإلضافية في The web page content محتوى الصفحة the links on the page الروابط على الصفحة 11

12 سياسات عمل ال Crawler يحدد سلوك الCrawler بالسياسات التالية : سياسة االختيار : لتحديد الصفحات التي يتم تحميلها ال يمكن للCrawler أن يقوم بتحميل جميع الصفحات, خاصة في أن مخدمات الويب قد ال ترغب بأن يتم إد ارج صفحات معينة في فهرس محرك البحث كما أن تحميل بعض الصفحات قد يؤدي إلى خلل في عمل الCrawler يتقيد الCrawler "المهذب" بملف ينشره مخدم الويب يسمى robotstxt سياسة إعادة الزيارة : لتحديد متى يتم التحقق من حدوث تغيي ارت على الصفحة هناك صفحات يزورها الCrawler بتواتر أكبر بكثير من صفحات أخرى سياسة التهذيب : لتجنب التحميل ال ازئد لمخدمات الويب وحماية الCrawler من الوقوع في فخ بعض المخدمات ( حيث أن الCrawler يقوم بطلب عدة صفحات من المخدم خالل زمن قصير جدا, فمن السهل جدا إغ ارق المخدم إذا كان يتعرض لطلبات من عدة في وقت واحد الCrawler المهذب يناوب بين المخدمات المختلفة وال Crawlers يطلب مستندات من المخدم نفسه إال كل بضع ثواني ) سياسة التفرع : للتنسيق بين الCrawlers Web الموزعين حيث أن كل محرك بحث يملك عدة Crawlers فيجب االنتباه إلى أن ال يتم استهداف مخدم واحد في وقت واحد و ال يتم طلب الصفحة نفسها من قبل أكثر من Crawler واحد فخ الCrawler : قد تستخدم برمجيات الCrawler ألسباب مؤذية, كهجومات Denial of service أو إلغر اق عرض حزمة مخدم الويب لذلك تلجأ مخدمات الويب إلى "نصب أفخاخ" لهكذا Crawlers يتسبب فخ الCrawler بأن يدخل الCrawler في حلقة النهائية, تؤدي إلى هدر موارد الCrawler و وتقليل إنتاجيته, وفي حال الCrawler المكتوب بشكل سيء قد يؤدي إلى انهيار البرنامج 12

13 الفصل الثاني : استرجاع المعلومات information retrieval في حياتنا اليومية نحن بحاجه الى تخزين واسترجاع المعلومات,ويمكن تحقيق ذلك عن طريق استخدام عقولنا )الذاكرة الداخلية البشرية( او باستخدام ذاكرة خارجية كاأللة أو الورق استرجاع المعلومات يعتبر تحديا صعبا بالنسبة للمطورين في هذا المجال, وهذه الصعوبة تعود الى حقيقة انه في كل يوم تولد كميه كبيرة من المعلومات وتصبح متوفرة بشكل رقمي وفي هذه األيام أصبحت البيانات تمثل بأساليب لغوية مختلفة )لهجات مختلفة( وفي هذا الفصل سنقوم بشرح العالقة بين المشاكل اللغوية واسترجاع المعلومات وسنبدأ بالحديث عن نمو المعلومات( growth (Information ثم عن المشاكل اللغوية problems) (linguistic 0-3- تضخم المعلومات لقد أصبح تضخم المعلومات( growth (Information واحد من أهم المشاكل التي تواجه مستخدمي نظم استرجاع المعلومات سواء كانوا يستخدمون قواعد البيانات المتصلة بشبكة األنترنت database) (online او شبكة الويب العالمية هذه األيام نظم استرجاع المعلومات تواجه كميات كبيره ومتنوعة من البيانات النصية والتي تزداد كل يوم بشكل كبير المشكلة األساسية السترجاع المعلومات هي إيجاد البيانات التي يريدها المستخدم (relevant documents) بسرعة وبدون إضاعة وقت المستخدم وجعلة ينتظر او يبحث كثي ار, مع وجود هذه الكمية الهائلة من البيانات من المستحيل على االنسان فهرسة وتحليل محتوى المستندات بشكل يدوي لذلك البد من وجود طريقة للفهرسة االتوماتيكية للتغلب على بعض الصعوبات التي يسببها تضخم المعلومات, لقد تم تطوير العديد من أدوات استرجاع المعلومات لحل مشاكل واستعالمات المستخدمين في العثور على المعلومات التي يحتاجونها من مجموعة كبيره من البيانات النصية و في الفق ارت التالية سنقوم بمناقشة بعض من هذه األدوات ولكن قبل ذلك سنقوم بتسليط الضوء على بعض المشاكل اللغوية المتعلقة باسترجاع المعلومات 13

14 3-3- المشاكل اللغوية في استرجاع المعلومات كما نعلم,لغة االنسان تتألف من الكلمات والتي تأتي على شكل سالسل او جمل, باستخدام هذه الكلمات نستطيع التعبير عن أفكارنا و التواصل مع األخرين الن الكلمات في محادثاتنا تشير الى أشياء او لها معنى مفهوم بين البشر الذين يتواصلون,ولكن بعض الكلمات في اللغة مت اردفه أي لها نفس المعنى و بعضها غامض غير مفهوم بشكل واضح, استرجاع المعلومات يعتمد على اللغات الطبيعية لتنفيذ ثالث مهام رئيسية في نظام االسترجاع وهي كالتالي: أوال, اللغات الطبيعية تستخدم لتمثيل محتوى المستندات و البيانات و اشكال أخرى من المعلومات )كالفهرسة( ثانيا, ان احتياجات المستخدم للمعلومات يتم تمثيلها لغويا ( استعالمات على شكل لغة طبيعية ) وأخي ار,اللغات الطبيعية تستخدم إلرشاد الكمبيوتر في تنفيذ عملية البحث وتنفيذ تابع االسترجاع يسبب استخدام اللغات الطبيعية من اجل استرجاع المعلومات العديد من المشاكل تمت االشارة اليها من قبل ورنر ايل (1991, el :(Warner المشكلة األساسية في نظم استرجاع المعلومات تم اإلشارة لها كمشكلة عدم تعيين indeterminacy وهي مشكلة عدم الوصول لموضوع المستند,ان هذه المشكلة تظهر بسبب تمثيل المواضيع بت اركيب لغوية مختلفة, هذه الت اركيب اللغوية المختلفة يمكن ان تحمل نفس المعنى وهي مشكلة الم اردفات synonyms),(problem of وبعض الت اركيب اللغوية المتشابهة يمكن ان تحمل معاني مختلفة وتدعى هذه المشكلة بمشكلة الغموض (problem of,ambiguity) وهناك عالقات داللية و بنيوية اخرى مختلفة ومعقدة بين الت اركيب اللغويةفي الواقع, واحدة من المشاكل الرئيسية التي تواجة المسؤلين عن تطوير التطبيقات اللغويه في نظم استرجاع المعلومات هي مواجهة الكم الهائل من المشاكل الحسابية في المعالجه اللغوية ضمن بيئة معقدة جدا غير مفهومة بشكل واضح 14

15 في لغة االنسان)اللغة الطبيعية( هناك عدد من النقاط الغامضة كالتي تم ذكرها سابقا, سنقوم في هذا القسم باستع ارض بعض نقاط الغموض األكثر ارتباطا باسترجاع المعلومات وهي: الم اردفات (Synonyms) الم اردفات هي كلمتين مختلفتين او أكثر يمكن استخدامهم في تمثيل نفس المفهوم او المعنى في اللغة هناك نوعين من الم اردفات,الم اردفات المطلقة synonyms) (absolute وهي الم اردفات التي لها معاني متطابقة من جميع النواحي وفي جميع السياقات, الم اردفات الجزئية أو القريبة synonyms) (partial or near والتي لها معاني متطابقة في بعض السياقات,مثال كلمة هي م اردف جزئي لكلمة, وهذا النوع من الكلمات في اللغة يمكن توضيحه كما article paper في الشكل[ 2-1 ] الشكل[ 2-1 ] مشكلة الم اردفات 15

16 األلفاظ المتجانسة (Homographs) األلفاظ المتجانسة هي معكوس المت اردفات, فهي كلمات مختلفة ولكن تكتب بشكل متطابق وأحيانا يتم لفظها بالشكل نفسه مثال: do) (lead the metal and lead, what leaders : ويكمن تمثيل هذا النوع من الكلمات كما في الشكل [2-2] الشكل[ 2-2 ] مشكلة االلفاظ المتجانسة وكما قال هارتر (1986 (Harter اذا تم استخدام اللغة الطبيعية كلغة السترجاع المعلومات, فإن وجود الم اردفات والم اردفات الجزئية و األلفاظ المتجانسة في اللغة سيزيد الصعوبة في الوصول الى نظم استرجاع المعلومات ذات كفاءة عالية, وذلك الن الحواسيب ستقوم باسترجاع المعلومات عن طريق مطابقة رموز اللغة, وليست كل المفاهيم )المعاني( تمثل بنفس الرموز يمكن السيطرة والتغلب على مشكلة المت اردفات واأللفاظ المتجانسة باستخدام اللغات المتحكم بها languages) (controlled مثل عناوين المواضيع والقواميس كالغات لنظم استرجاع المعلومات 16

17 تغي ارت الكلمة variations) (Word تغي ارت الكلمة هي مشكلة تظهر لنا عند استخدام اللغة الطبيعية )لغة اإلنسان( كالغة استرجاع المعلومات, تغير الكلمة هو تغير الشكل )الهيئة( لكلمة معينةويكون هذا التغير إما لفظيا أو إمالئيا (orthographic),وهذا التغير مميز على انه من كلمة تعتبر كوحده (phonetic) ran (lexical unit) معجمية الكلمة األصل- مثال: لدينا الكلمة هي واحدة من مجموعة run اشكال الكلمة running) (run, runs, ran, وكلها شكلت من الكلمة المعجمية )كلمة األصل( ويمكن توضيح اشكال الكلمات بالشكل[ 2-3 ] : الشكل[ 2-3 ] مشكلة تغي ارت الكلمة شكل الكلمة أو التغير الصرفي variation) (morphological هو واحد من العديد من الخصائص المهمة التي يجب أخذها بالحسبان عند تصميم نظام استرجاع للنصوص الحرة )النصوص المكتوبة باللغات الطبيعية( هناك العديد من التقنيات التي تم استخدامها في نظم استرجاع المعلومات للتغلب على مشكلة التغير الصرفي للكلمات وهذه التقنيات تتضمن إ ازلة (stemming algorithm) (truncation) اللواحق (suffix) واالقتطاع وخوارزميات التجريد والمحلالت الصرفية ) analysers (morphological 17

18 بعد تحديد المشاكل التي تظهر لنا عند استخدام اللغات الطبيعية كالغات بحث السترجاع المعلومات,ومن اجل التغلب على هذه المشاكل قام مختصي المعلومات بتطوير عدد من لغات (subject headings) الفهرسة مثل قواميس الم اردفات (thesaurus) و عناوين المواضيع للتحكم بالم اردفات و االلفاظ المتجانسة وانشاء عالقة بين المصطلحات (terms) لتحديد مفهوم الكلمات بشكل ادق, وتقنيات األخرى كالتحليل الصرفي والتجريد واالقتطاع تستخدم للتحكم بالتغير الصرفي للكلمات في القسم التالي سنقوم بمناقشة لغات الفهرسة والتي تستخدم في نظم استرجاع المعلومات من اجل تحسين أداء النظام -2-3 لغات الفهرسة languages) (Indexing في استرجاع المعلومات,نعرف الفهرسة على انها عملية تخصيص كلمات داللية مفاتيح- terms) (index للمستندات و السجالت و هذه الكلمات الداللية ستساعد في عملية استرجاع المستندات الحقا )1998 )Rowley, إن عملية اسناد الكلمات الداللية في لغات الفهرسة يمكن القيام بها يدويا )من قبل اإلنسان( أو تلقائيا بواسطة الكمبيوتر أو عن طريق الجمع بين النهجين هناك نوعين من لغات الفهرسة المستخدمة في نظم استرجاع المعلومات, النوع األول يعرف باسم اللغات الغير متحكم بها languages) (uncontrolled ويعرف أيضا ب النص الحر او البحث باللغات الطبيعية, بينما النوع الثاني (free text/natural language searching) يعرف باسم اللغات المتحكم بها languages) (controlled أو باسم تحكم المفردات (vocabulary control) اللغات الغير متحكم بها اذا لم يكن نظام المعلومات يستند الى فهارس معدة يدويا, ولكنه يستند الى (manually) كلمات و عبا ارت كالتي تظهر داخل النص نفسه, فهذا النوع من نظم استرجاع المعلومات يعرف 18

19 باسم بحث النص الحر أو الغه الحرة او اللغة الغير متحكم بها ال يوجد في مثل هذا النوع من (human األنظمة حكم بشري مشارك في تعيين كلمات داللية (terms) الى مستندات محددة judgment) فالكلمات الداللية يتم اشتقاقها من النص مباشرةوبالتالي المستخدم النهائي يقوم باختيار كلمة أو مجموعة من الكلمات او عبارة ليصف حاجاته كاستعالم كما في الشكل- 3 ] [ 1 وكما ذكرنا سابقا العديد من المشاكل اللغوية قد تحدث كالم اردفات األلفاظ المتجانسة وتغي ارت الكلمة عند استخدام اللغات الغير متحكم بها كلغة فهرسة في نظم استرجاع المعلومات, ولكن هناك العديد من التقنيات التي تم تطويرها لتعزيز أداء هذه األنظمة ويتم اتباع هذه الخطوات في الفهرسة التلقائية : 19

20 الشكل[ 3-1 ] نموذج لنظام استرجاع معلومات عام للغات الغير متحكم بها يجب تحديد جميع الكلمات في المستندات يجب ان يتم حذف كلمات التوقف words) (stop من ملف الفهرسة يجب تحديد الكلمات الداللية وربطها )اسنادها( للمستندات الموجودة في المجموعة التي يتعامل معها نظام استرجاع المعلومات يتم إ ازلة جميع البادئات (prefixes) والالحقات (suffixes) المرتبطة بالكلمات الداللية )تجريد كلمات الفهرسة الى األصل من أجل تقليل عدد الكلمات( 21

21 بعد الحضول على الكلمات االصل يجب القيام بعملية وزن للكلمات من اجل استخدام هذه االو ازن في عملية االسترجاع النهائية اللغات المتحكم بها (terms) اللغات المتحكم بها هي عبارة عن قائمة تفويض list) (authority من المصطلحات المرتبطة ببعضها البعض بواسطة الم ارجع التبادلية (cross-references) وهذه القوائم يمكن استخدامها من قبل المفهرس من اجل ربط مصطلحات محددة بمستندات محددة وذلك استنادا الى التفسي ارت الذاتية interpretations) (subjective للمفاهيم في هذه المستندات كما ينص : هارتر 1986) (Harter states "هناك عدة أسباب للنظر في استخدام اللغات الصنعية )مثل لغة الفهرسة( كلغة لتمثيل المعلومات, فهناك العديد من المشاكل تظهر عند استخدام اللغات الطبيعية في عملية استرجاع المعلومات ومنها الم اردفات, الغموض الداللي )المعنوي( الناجم عن وجود األلفاظ المتجانسة, الفهم الخاطئ نتيجة غموض السياق, والصعوبة في اج ارء عمليات بحث عام استخدام المفردات المتحكم بها يستطيع وبدرجه كبيره حل هذه المشاكل " ولكن تم استخدام تحكم المفردات control) (vocabulary في نظم استرجاع المعلومات لتجاوز المساوئ الموجودة في المفردات الغير متحكم بها vocabulary) (uncontrolled تحكم المفردات يمكن تقسيمه بشكل عام الى نوعين هما " عناوين المواضيع باستخدام تحكم المفردات يتم بواسطة ثالث م ارحلة متسلسلة وهي: المعاجم الفهرسة فحص المستندات وانشاء محتويات الموضوع تحديد المفاهيم الرئيسية في المستندات التعبير عن هذه المفاهيم بواسطة لغة الفهرسة 21

22 الشكل[ 3-2 ] نموذج لنظام استرجاع معلومات عام للغات الغير متحكم بها من الشكل السابق في كل مرحلة هناك مشكلة تتطلب تحليال فكريا من اجل الفهرسة المفهومية, indexing) (conceptual المشكلة هي تحديد المفهوم الرئيسي في المستند ليوافق وجهة نظر أكثر عدد من المستخدمين problem) (indexing language من أجل نظام استرجاع المعلومات المشكلة هي تحليل احتياجات المعلومات للمستخدم وتحويلها الى مفاهيم وحقائق متوافقة مع وجهة نظر الخاصة بهذا المستخدم problem( )searching language في كل حالة اللغة تستخدم للتعبير عن جملة موجزة في اللغة الطبيعية 22

23 في الفهرسة المفهومية ملخص بند المعلومات الذي تم تحديده يجب ان يحول من اللغة الطبيعية الى مفردات قياسية للغة الفهرسة )Harter,1986( من أجل (controlled vocabulary) تحقيق عملية استرجاع معلومات ناجحة يجب ان يكون العنصريننقاط الوصول للمستند ومصطلحاتالمستخدم terms) (user مرتبطين ارتباطا وثيقا (indexing terms) لكل من لغتي الفهرسة السابقتين م ازيا وعيوب سنقوم بتوضيحها في الجدول التالي: م ازيا عيوب كلفة أقل عبئا أكبر على الباحث Uncontrolled بحث مبسط المعلومات المضمنة في indexing إمكانية البحث بكامل النص لكن لم يصرح عنها language محتويات قاعدة البيانات بشكل علني يمكن ان تهمل كل كلمة لها قيمة استرجاع غياب خاصية الربط العام مساوية بين المصطلحات وخاصة ال يوجد أخطأ فهرسة سببها المتشابهة في المعنى األنسان تحل العديد من مشاكل كلفة عالية Controlled الدالالت اللفظية قصور محتمل في تغطية vocabulary تسمح بتعريف عالقات عامة المصطلحات والعبا ارت بين المصطلحات المستخرجة تنشئ مخطط لربط مناطق وجود اخطاء سببها االنسان المعرفة )المفاهيم( المتشابهة صعوبة التضمين المنهجي ببعضها والمنتظم لكافة العالقات التي تصل بين المصطلحات فقدان الدقة في عملية استرجاع المعلومات 23

24 وباإلضافة الى ما سبق هناك عدة طرق تم تطويرها كالتحليل اإلحصائي والتحليل اللغوي لدعم نظم استرجاع المعلومات 2-3 -النهج اإلحصائي Statistical approach النهج اإلحصائي يقوم على افت ارض انه كل ما كثر استخدام الكلمة في مستند فمن المرجح ان هذه الكلمة هي مؤشر هام للموضوع االختيار التلقائي لمصطلحات الفهرسة (indexing terms) يتم وفق تك ارر الحدوث للكلمات وفقا لقواعد محددة سبقا وفي هذا النهج تمت برمجة الكمبيوتر من اجل ترتيب كلمات النص في الئحة وفقا للتك ارر هذه الكلمات تصاعديا او تنازليا والكلمات الداللية للمستندات terms) (index يتم اخيارها من هذه الالئحة وهنا تظهر المشكلة ألننا ال نعلم إال القليل نسبيا عن فائدة التك ارر المرتفع او المنخفض لتقييم الكلمات وبسبب عدم التيقن بشأن العالقة بين تك ارر حدوث الكلمة في النص وفائدة اعتبارها عنصر فهرسة -5-3 الطريقة اللغوية Linguistic approach النهج اللغوي هو أحد الطرق المستخدمة في تحليلي النصوص المستخدمة السترجاع المعلومات األساليب اللغوية المستخدمة في استرجاع المعلومات نوعين: النوع األول بسيط يعتمد على استخدام أساليب بسيطة ذات اهداف محدودة مثل إ ازلة الغموض عن بعض محددات أسماء العبا ارت والنوع األخر هو استخدام أنظمة تحليل لغوي أكثر تعقيدا ولكن يجب ان يكون السياق الذي تعمل علية هذه األنظمة محدود معالجة اللغات الطبيعية تم استخدامها في عدد من البحوث كوسيلة لتحسين فعالية استرجاع المعلومات, أبسط وأكثر أسلوب شهرة في المعالجة اللغوية هو التجريد (Stemming) والتجريد هو عملية حذف الالحقات والبادئات من الكلمة للوصول الى الكلمة المصدرية حاليا ان استخدام معالجة اللغات الطبيعية في نظم استرجاع المعلومات أصبح ضروريا للغاية 24

25 6-3- نماذج استرجاع المعلومات الرئيسية النماذج الرئيسية التالية والتي تم تطويرها السترجاع المعلومات هي: النموذج المنطقي model(,)boolean النموذج اإلحصائي model) (Statistical والذي يتضمن نموذج (Probabilistic استرجاع الفضاء الشعاعي SpaceModel) (Vector و النموذج االحتمالي "exact match" النموذج األول )المنطقي( يعرف عادة بنموذج التطابق التام Model) بينما النموذج الثاني يعرف باسم نموذج افضل تطابق match" ]Belkin and Croft 1992["best االسترجاع بواسطة االستعالمات عادة ما يكون أقل من الكمال perfect" "less than في ناحيتين: األولى استرجاع مستندات عديمة الصلة باالستعالم documents","irrelevant ثانيا ال يتم استرجاع جميع المستندات ذات الصلة باالستعالم documents" "relevant )relevance( تقدير صلة إن المعلومات المسترجعة بالموضوع أهميتها قبل من ذاتي تقدير هي المستخدمين تضمن: ان يكون مرتبطا بالموضوع ان يكون زمنيا أي المعلومات تتميز بالحداثة ان يكون موثوق أي أن المعلومات أتت من مصدر موثوق يلبي أهداف المستخدمين وفيه المعلومات التي يحتاجها والمقياسان التاليان يستخدمان عادة في تقييم فعالية نظام االسترجاع المقياس األول يدعى معدل الدقة rate" "precision هو نسبة المستندات ذات الصلة التي تم استرجاعها )عدد المستندات ذات الصلة المسترجعة على عدد المستندات الكلي المسترجع( المقياس الثاني يدعى االستدعاء معدل rate" "recall ويساوي نسبة كل المستندات المسترجعة ذات الصلة )عدد المستندات ذات الصلة المسترجعة على عدد المستندات ذات الصلة الكلي( فإذا ا ارد الباحث رفع معدل الدقة فعلية ان يقوم بحصر تضييق-استعالماته اما إذا ا ارد الباحث رفع معدل االستدعاء فإنه يقوم بتوسيع االستعالم الخاص به وبشكل عام العالقة بين الدقة واالستدعاء هي عالقة عكسية 25

26 النموذج المنطقي Boolean Model النموذج المنطقي القياسي هو اول نموذج السترجاع المعلومات وهو نموذج يعتمد التطابق التام االسترجاع في match) (Exact أي اما ان يتم استرجاع المستند او ال يسترجع والملفات المسترجعة غير مقيمه او مرتبه وهذا النموذج يمكن تفسيره باعتبار مصطلح االستعالم (query كتعريف واضح لمجموعه من المستندات مثال مصطلح االستعالم economic يحدد term) مجموعة المستندات التي تمت فهرستها مع المصطلح economic باستخدام معامالت المنطق الرياضي مع مصطلحات االستعالم يمكننا الحصول مجموعه جديده من المستندات الموافقة لهذه المصطلحات عن طريق الجمع بين المستندات الموافقة لكل مصطلح موجود في االستعالم ويعرف هذا النموذج ثالث معامالت منطقية أساسية معامل التقاطع المنطقي AND والجمع والفرق المنطقي AND ان الدمج بين المصطلحات بواسطة المعامل NOT المنطقي OR سيؤدي الى تحديد مجموعة من المستندات أصغر أو تساوي أصغر مجموعة مستندات تحوي أحد المصطلحات االستعالم مثال االستعالم economic) (social AND يؤدي الى (term) استرجاع مجموعة المستندات التي تحوي المصطلحين كما في الشكل [4-1] أي يتم مقاطعة مجموعة الملفات التي تحوي المصطلح social مع مجموعة الملفات التي تحوي المصطلح OR الدمج بين المصطلحات بواسطة المعامل economic سيؤدي الى الحصول على (social مجموعة مستندات أكبر أو تساوي أي مجموعة مستندات ألي مصطلح,مثال االستعالم political) OR يؤدي الى استرجاع كافة المستندات التي تمت فهرستها مع أي من المصطلحات أو كما في الشكل [4-1] بمعنى اخر يتم جمع مجموعة political social المستندات التي تحوي المصطلح األول مع مجموعة المستندات التي تحوي المصطلح الثاني وهناك ميزة للنموذج المنطقي وهي بإعطاء المستخدم الخبير إحساس بأنه يسيطر على النظام في أغلب األحيان تكون مجموعة المستندات المسترجعة صغيرة جدا اذا تم استخدام المعامل AND أو كبيره جدا عند استخدام المعامل OR و يحوي هذا النموذج عدة عيوب بالنسبة للمستخدمين الجدد, العيب األساسي في هذا النظام هو انه ال يحوي تقييم للمستندات المسترجعة وهذا النموذج اما ان يقوم باسترجاع مستند او أكثر او ال يسترجع شيء أبدا وهذا يسبب قيام 26

27 (social النظام باتخاذ ق ار ارت خاطئة في االسترجاع فمثال نريد البحث في االستعالم التالي union) AND worker AND هذا االستعالم بالتأكيد لن يقوم باسترجاع مستندات مفهرسه birthday cake بمصطلحات مثل party ولكنه أيضا لن يسترجع المستندات التي تحوي union social المصطلحات social و ولكن ينقصها فقط فمن الواضح ان المستندات التي تحوي social AND worker قد تكون مفيدة بالنسبة لالستعالم ولكن هذا النموذج ال يستطيع تمييزها ألنها ال تحوي المصطلح union الشكل[ 4-1 ] المعامالت المنطقية ويمكن تلخيص م ازيا وسيئات هذا النموذج بالجدول التالي النموذج المنطقي القياسي المعامالت المنطقيه: AND-OR-NOT التقريب )proximity( التجريد) stemming (/االقتطاع) truncation ( سهل التحقيق والتطبيق )implementation( فعالية حسابيه عالية --> كل قواعد البيانات األساسية تستخدم هذا النموذج سهل التعبير والوضوح في االستعالمات الطرق المستخدمة المي ازت 27

28 من الصعوبة بناء استعالمات منطقيه إذا كانت طويله الكل أو ال شيء AND تسترجع الكثير OR تسترجع القليل صعوبة التحكم في الخرج: خرج فارغ او ضخم جدا ال يوجد ترتيب للمستندات المسترجعة ال يوجد ترجيح)وزن( لمصطلحات االستعالم او الفهرسة العيوب النماذج اإلحصائية نموذج يعتبر الفضاء الشعاعي والنموذج طرق عن االساسية االمثلة من االحتمالي االسترجاع النموذجين كال االحصائي يستخدم المعلومات ترددات شكل على االحصائية للمصطلحات frequencies( )term الوصول اجل من بالنسبة الصلة ذات للمستندات النموذجين وكال لالستعالم المستندات من الئحة عن عباره خرج بإنتاج يقومان "مقيمة" المرتبة المستند الصلة لتقدير وفقا باالستعالم ولكن يختلف النموذجان ترددات استخدام لطريقة بالنسبة المصطلحات نماذج االسترجاع االحصائي تحل المشاكل بعض والعيوب النماذج في الموجودة العيوب بعض تحوي المقابل في ولكنها المنطقية الفضاء الشعاعي أول من اقت ارح النهج اإلحصائي في البحث عن المعلومات هو بيتر لوان ( Peter )Luhn 1957 وقد اقترح من اجل البحث في مجموعة من المستندات فعلى المستخدم ان يجهز مستند مشابه للمستند الذي يحتاج الحصول عليه ودرجة التشابه بين المستند الذي تم تجهيزه والمستندات الموجودة في المجموعة تستخدم لتقييم نتيجة البحث بإتباع معيار التشابه الذي وضعه بيتر لوان تكون أول خطوه هي حساب عدد العناصر المشتركة بين االستعالم والتمثيل الفهرسي للمستند )مثل : index )Inverted فإذا مثلنا كل مؤشر لمستند 28

29 d بشعاع ) m d = (d 1, d 2,, d حيث ان كل مكون لهذا الشعاع مرتبط بعصر فهرسة ويتم تمثيل االستعالم بشعاع أيضا ) m q = (q 1, q 2,, q ومكونات هذا (index term) الشعاع هي نفسها مصطلحات االستعالم terms) (query, وبعد ذلك نتوجه الى خطوة مقياس التشابهحيث يعرف مقياس التشابه بالجداء الداخلي لشعاع product) :(vector inner m score(d, q ) = d k q k k=1 اذا كان الشعاع ثنائي أي قيم مكوناته اما القيمة 1 وتعني ان المصطلح موجود في االستعالم او المستند او القيمة 1 وتعني ان المصطلح غير موجود في المستند او االستعالم, وبالتالي يكون ناتج مقياس التشابه هو عدد المصطلحات المشتركة بين االستعالم والمستند ولكن بشكل عام يتم تمثيل قيم مكونات الشعاع بأرقام طبيعية او عشريه وهذه القيم تمثل أو ازن المصطلحات في المستند او االستعالم نموذج الفضاء الشعاعي اقترح جي اررد سالتون Salton) (Gerard نموذج مبني على معيار التشابه الخاص ب)لوان( ولكن هذا النموذج يعتبر األفضل لقد تم تمثيل فهارس المستندات واالستعالم كأشعة واعتبارها جزء ال يتج أز من الفضاء األقليدي ذو األبعاد العالية حيث يتم تعيين بعد منفصل لكل مصطلح في هذا الفضاء الشعاعي ومقياس التشابه عادة يكون تجيب (cosine) ال ازوية التي 1 1 d تفصل بين الشعاعين q و وتكون قيمة التجيب اذا كانت األشعة متعامدة و اذا كانت األشعة متوازية و يعطى قانون مقياس التشابه التجيبي: score(d, q ) = m k=1 d k q k m k=1 (d k ) 2 m k=1(q k ) 2 مثال: لدينا المصطلحات political,social, economic يتم تمثيل هذه المصطلحات في economic فضاء ثالثي االبعاد فاذا كانت االستعالم يحوي المصطلحين political و واحد اشعة المستندات تحوي المصطلحات الثالثة فيكون التمثيل على الشكل [4-2] التالي 29

30 الشكل[ 4-2 ] التمثيل الشعاعي للمصطلحات نموذج الفضاء الشعاعي كان مهما في تطوير العديد من البحوث مثل تصنيف النص التلقائي (document clustering) و تجميع المستندات (automatic text categorization) وزن المصطلحات Term weighting العيب األساسي في نموذج الفضاء الشعاعي (VSM) بانه ال يحدد وال بأي شكل من االشكال القيمة التي يجب وضعها في مكونات الشعاع components) (vector وتعرف مشكلة تعيين القيم المناسبة لمكونات الشعاع ب وزن المصطلحات weighting) (term وقد اثبتت التجارب التي قام بها سالتون (1973 (Salton and Yang ان مشكلة او ازن المصطلحات ليست مشكله تافهة بل هي مهمة من اجل تحسين عملية استرجاع المعلومات وقد اقترح نموذج لوضع او ازن للمصطلحات يدعى weights) (tfidf وهو تركيب من تردد (inverse document المصطلح tf) (term frequency وتردد المستند العكسي TF تردد المصطلح frequency) بالقانون: هو عدد م ارت ظهور هذا المصطلح في المستند ويحسب tf(k, d) = f(k, d) max (f d ) هو عدد م ارت تك ارر المصطلح d في المستند k f(k, d) 31

31 d اكبر عدد تك ار ارت لمصطلح في المستند max (f d ) df(document تردد المستند العكسي idf هو قيمه تتناسب عكسيا مع تردد المستند frequency) والذي هو عدد المستندات التي تحوي المصطلح وتحسب بالقانون idf(k) = log 2 N df(k) عدد المستندات الكلي في المجموعة و df(k) هو عدد المستندات التي تحوي حيث N المصطلح k فيكون قانون حساب األو ازن من اجل مكونات كل شعاع هو: w(k, d) = tf(k, d) idf(k) = f(k, d) max (f d ) log N 2 df(k) النماذج االحتمالية هذا النوع من نماذج استرجاع المعلومات يعتمد على المبدأ العام والذي ينص على ان المستندات في المجموعة يجب ان ترتب عن طريق قيمة احتمال صلتها باالستعالم تنازليا ويسمى هذا المبدأ ب مبدأ الترتيب االحتمالي PRP) (probabilistic ranking principle القيم الصحيحة لهذه االحتماالت غير موجودة في نظم استرجاع المعلومات لذلك يقوم النموذج االحتمالي بتقدير قيمة هذه االحتماالت وهذه التقدي ارت هي أساس النماذج االحتمالية وهذه التقدي ارت سبب اختالف النماذج االحتمالية عن بعضها والفكرة األولية لالسترجاع االحتمالي تم اقت ارحها من في ورقه بحثيه نش ارها في عام 1960, منذ ذلك الحين والعديد من قبل) Kuhns )Maron and النماذج االحتمالية تم اقت ارحها, وهذه النماذج تختلف عن بعضها بطريقة تقدير االحتماالت وسنقوم بتوصيف األسس المشتركة لهذه النماذج االحتمالية, نعرف احتمال الصلة relevance" " probability of بالنسبة للمستند D بالعالقة P(R D) ويتم تقييم المستندات rank" " بالعالقة, حيث P(R D) هي rank(d) = log P(R D) P(R D) 31

32 احتمال عدم صلة المستند, وبعد القيام بعملية تحويل بايز transform" " bayes تصبع عالقة التقييم rank(d) = log P(D R)P(R) P(D R )P(R) وعلى فرض ان احتمال الصلة السابق P(R D)" " مستقل عن المستند وفق اعتبا ارت محددة وبذاك يكون االحتمال ثابتا من اجل كل المستندات "scaling factors" و P(R ) تعتبر عوامل توسيع فقط لعالمات المستند النهائي P(R) (scores) ويمكن حذفها من العالقة السابقة )عالقة التقييم( وهذا يودي الى تبسيط العالقة لتصبح rank(d) = log P(D R) P(D R ) استنادا الى االفت ارضات خلف تقدير قيمة P(D R), تبدأ النماذج االحتمالية المختلفة بالتباعد )تصبح مختلفة( عند هذه النقطة ابسط شكل للنموذج االحتمالي, هو اعتبار ان المصطلحات مستقلة عن بعضها وتكتب P(D R) كجداء الحتماالت المصطلحات, بمعنى اخر وجود المصطلح في المستندات ذات الصلة أو عدم وجود المصطلح في المستندات عديمة الصلة: P(D R) = P(t i R) (1 P(t j R)) t i Q,D t j Q,D احتمال وجود المصطلح tفيالمستنداتذات i الصلة من اجل كل المصطلحات المشتركة P(t i R) t j بين االستعالم و المستند, (R P(t j احتمال غياب المصطلح من الوثائق ذات الصلة من اجل كل المصطلحات الموجودة في االستعالم و الغائبة عن المستند اذا رمزنا ل (R P(t i q i P(t i R ) بالرمز P i و رمزنا ل بالرمز تصبح عالقة التقييم بالشكل : rank(d) = log t P i Q,D i t j Q,D (1 P i ) ti Q,D (1 q i ) q i t j Q,D ومن هنا نجد أن النماذج اإلحصائية تتميز بنقاط القوه التالية : توفر للمستخدمين ترتب وفق األهمية "الصلة" ranking( )relevance للمستندات المسترجعة وبالتالي تمكن المستخدمين من التحكم بالخرج عن طريق تحديد قيمة عتبة الصلة threshold( )relevance أو تحديد عدد المستندات التي يجب عرضها في الخرج )a 32

33 صياغة االستعالمات أصبحت أسهل ألنه اصبح بإمكان المستخدم استخدام اللغة الطبيعية بدال من لغة االستعالم يمكن تمثيل حالة عدم التقين "الشك" الكامنة في اختيار مفاهيم االستعالم ( query )concepts )b )c ولكن الطرق اإلحصائية لديها بعض العيوب: القوة التعبيرية لهذه النماذج محدودة, مثال: المعامل NOT ال يمكن تمثيله "استخدامه" في التعابير ألن هذه النماذج ال تستخدم سوى االو ازن الموجبة الطرق اإلحصائية تفتقر الى البنية اللغوية للتعبير عن بعض السمات اللغوية الهامة مثل العبا ارت حساب درجات الصلة scores( )relevance يمكن ان يكون مكلفا حسابيا الئحة التقييم الخطي توفر للمستخدمين رؤية محدودة لفضاء المعلومات وال تشير بشكل مباشر الى كيفية تعديل االستعالم اذا دعت الحاجه الى ذلك ( أي اذا كان االستعالم ال يلبي حاجات المستخدم في الحصول على المعلومات( [ Hearst Spoerri,1993 ]1994 االستعالمات يجب ان تحوي على عدد كبير نسبيا من الكلمات لتحسين أداء االسترجاع, وكما هو الحال في النماذج المنطقية يقع المستخدمين في مشكلة االضط ارر الى استخدام كلمات مناسبة و التي تستخدم أيضا في الوثائق ذات الصلة )a )b )c )d )e والجدول التالي يلخص الم ازيا و العيوب الخاصة بنموذج الفضاء الشعاعي و االحتمالي ويعرض أيضا الصيغ األكثر استخداما في حساب او ازن المصطلحات ومعايير التشابه الطريقة اإلحصائية حافز االستخدام الهدف الطريق المتبعة الفضاء الشعاعي - تبسيط صيغة االستعالم - القدرة على التحكم بالخرج خرج مرتب باالعتماد على التشابه مقياس التجيب االحتمالي معالجة حالة الشك في تمثيل االستعالم احتمالية الصلة حسب النموذج االحتمالي 33

34 العيوب كيفية تمثيل المعامل not وعمليات البحث التقريبية تقدير االحتماالت المطلوبة يحتاج الى معرفة مسبقة القدرة التعبيرة محدودة - يفترض استقالل االحتماالت - يفرض ان المصطلحات مستقلة - العالقات المنطقية مهملة - يفتقد الى البنية اللغوية لتمثيل - العديد من النماذج االحتمالية - المي ازت اللغوية الهامة مثل وصعوبة تحديد أفضلها العبا ارت - يفتقد الى البنية اللغوية لتمثيل المي ازت اللغوية الهامة مثل العبا ارت نموذج اللغة لقد تم استخدام نموذج اللغة ألول مره في معالجة اللغات الطبيعية ( language natural Ponte and ( لتمثيل احتمال سلسلة من األحرف وقد كان بونتي و كروفت )processing )Croft 1988 اول من ادخل نموذج اللغة في نظم استرجاع المعلومات من خالل النظر الى االسترجاع كأنه عمليه توليديه process( generative (حيث يتم النظر الى المستند على أنه نموذج لغة والتي هي في األساس التوزع االحتمالي على مصطلحات هذه اللغة )أي التوزع االحتمالي للمصطلحات الموجودة في المستند (, نموذج اللغة يقوم بترتيب المستندات وفقا الحتماالتهم في توليد مصطلحات االستعالم, لتقدير احتمال ظهور" رؤية" المصطلح في نموذج لغة المستند عادة ما يتم االعتماد على عالقة اقصى تقدير احتمال ( likelihood maximum : ) estimation P (t D) = f(t, D) D D t حيث D) f(t, تردد المصطلح في الوثيقة D, و هي طول المستند ألن نموذج لغة المستند يقدر من عينه محدودة )بمعنى أخر مستند واحد فقط( فمن المحتمل ان تظهر لنا مشكلة تناثر البيانات (,)datasparseness لذلك نحتاج للقيام بعملية التجانس )smoothing( في نموذج اللغة وطريقة التجانس األكثر استخداما هي تجانسيلينيك-ميرسر ( 34

35 ,)Jelinek-Mercer smoothing فهي تدمج االحتمال المقدر للمستند مع مستند اخر من المجموعة: P smooth (t D) = λp (t D) + (1 λ)p (t C) t حيث اقصى تقدير احتمال للعالقة P (t C) هو تردد المجموعة التي تحوي المصطلح مقسوما على العدد اإلجمالي للمصطلح في المجموعة نموذج اللغة مثل نموذج الفضاء الشعاعي يفرض استقالل المصطلحات الموجودة في المستند وكال النموذجين لديهما وظائف متماثلة )تمثيل المستند و وزن المصطلحات( ولكن من وجهات نظر مختلفة ومع ذلك, المتجه في الفضاء الشعاعي و التوزع االحتمالي في النموذج االحتمالي متشابهان في احتواء او ازن المصطلحات على الرغم من ان التمثيل الرياضي لهما مختلف جدا ففي الفضاء الشعاعي التمثيل هندسي و في اللغة تمثيل احتمالي وفي عملية وزن المصطلحات الطريقة TFIDF مرتبطة ارتباطا وثيقا مع طريقة الوزن االحتمالي weighting( )probability في نموذج اللغة معادلة الوزن القياسية الخاصة بالنموذج اللغوي )2001 Lafferty, :)Zhai & p(q i D) log P (Q D) = log + m log(1 λ) + log (1 λ)p(q i C) P (q i C) i;c(q i D)>0 m i=1 حيث (D p(q i تشير الى احتمال وجود مصطلح االستعالم في المستند, D و تشير p(q i C) بكمية التجانس الى احتمال وجود مصطلح االستعالم في مجموعة المستندات, وبهذا نجد ان النموذجين اللغة و الفضاء الشعاعي هما األكثر ا انتشار λ هي متغير للتحكم واهمية في نظم استرجاع المعلومات رغم وجود وجهات نظر مختلفة في هذين النموذجين و استخدامهم ألدوات رياضيه مختلفة, رغم ذلك فهما نموذجان متقاربان الى حد كبير, فأساس عملية الوزن في نموذج اللغة هي عالقة TFIDF للوزن في الفضاء الشعاعي 35

36 الفصل الثالث : استرجاع نظم في النصوص عن التنقيب المعلومات استرجاع نظام 0-2- المعلومات استرجاع نظام من يتألف نظام عن عبارة المعلومات Information Retrieval System مجموعة من اإلمكانيات الوثائق تحويها التي البيانات إلى الرجوع في عادة تستخدم إظهار و أو هذه البيانات( استعادتها يمكن بطريقة اخت ازنها ثم ومن اكتشافها ( Documents عند الطلب نظام استرجاع يمثل بالتالي و المعلومات التقنيات بين تفاعال واإلج ارءات لتحقيق والرسائل معلومات تقديم وهي وظيفة عن الوثائق للمستخدم المستفيد كلمة" من واضح هو كما استرجاع, "فإن استرجاع نظام المعرفية الحالة يزيد ال المعلومات لمجموعة الوثائق يعمل التي والمستندات عن معلومات بوجود علما المستفيد يحيط وانما عليها, تتعلق بموضوع التي الوثائق استفساره المعلومات, " مصطلح" بين أيضا التمييز يجب وهنا استرجاع الوثائق "ومصطلح" استرجاع فعندما يكون المستفيد عليها بالحصول يرغب التي المحددة الوثيقة مؤلف أم بعنوان معرفة على,فإن باستطاعته الحصول خالل من عليها خدمة "استرجاع الوثائق, "أما التي الحاالت في المستفيد فيها يسعى للحصول على موضوع في وثائق معين,فان هي إليه تقدم التي الخدمة استرجاع خدمة يحصل على حيث المعلومات معلومات باحتياجاته تفي وثيقة إلى توصله استرجاع نظم تواجهها التي العقبات اكبر إحدى النصوص تحليل إلى الحاجة هي المعلومات قبل استرجاعها,ألن استرجاع عملية المعلومات محتوى فهم على كبير بشكل تعتمد أصبحت النصوص الم ارد استرجاع المعلومات منها,وتحليل استعالمات لبناء استخدامها يتم التي الكلمات الكلمات بين معنوي ربط عملية إج ارء ثم البيانات قاعدة بين و المفتاحية البحث, Queries المستند إلى للوصول النصية بوقت الصحيح التحليل عملية إلى الحاجة ظهرت هنا قياسي,من النصيMining Text 36

37 النصوص( Mining (Text التطبيقات النموذجية لتحليل -3-2 غير النص المبني ) structured ( غالبية يمثل قد الحقيقة في جدا,و شائع المعلومات المتاحة النصوص, Mining) (Text أي مجال في كان لتحليل عديدة تطبيقات هناك لذلك يصبح لكي تطبيق الخوارزميات النتائج ودقة الزمن حيث من فعالي ة أكثر مهيكلة غير نصوص على إجابات تحليل االستبيانات مفتوحة تضمين المألوف من فإنه استبيان أي النهاية :في 1 أسئلة مفتوحة عدة بموضوع متعلقة االستبيان الفكرة السماح هي للمجيبين عن بالتعبير تقييدهم ضمن دون أو آ ارئهم نظرهم وجهات معينة أبعاد أسئلة مثل ثابتة أو صياغة ال قد التي للزبائن آ ارء و نظر وجهات هذا يعطي أن من الممكن أو نعم أجب ب ال باإلمكان يكون ذلك عند بدون اكتشافها على فقط االعتماد االستبيانات المنسقة خب ارء قد قبل من المصممة الكلمات من معينة مجموعة المثال سبيل على تكشف المصطلحات المجيبين قبل من عادة المستخدمة لوصف حسنات أو منتج مساوئ و البحث(, و قيد خدمة( االلتباس أو الشائعة الخاطئة األفكار إلى اإلشارة بخصوص الد ارسة قيد هي التي البنود المعالجة األوتوماتيكية البريد كرسائل للرسائل االلكتروني :هنالك آخر شائع تطبيق 2 تصنيف في المساعدة هو و النصوص آليا من لتحليل النصوص Mining) (Text به (Junk الممكن,مثال, للبريد اآللية بالفلترة القيام االلكتروني المرغوب الغير باالستناد إلى اصطالحات الرسائل في ترد ان المحتمل غير من كلمات أو s) المرغوب بها بهذه يمكن إهمال الطريقة الرسائل تلك مثل اوتوماتيكيا كما تلك مثل ان اخرى, لتصنيف اآللية االنظمة الرسائل االلكترونية مفيدة تطبيقات في استخدامها يمكن الشركة إلى تتلقاها التي الرسائل توجيه مثل دعم قسم لها( المناسبة األقسام الزبائن,قسم الموارد البشرية,),وفي فلترة الرسائل يتم الوقت نفس إلى إعادتها و الئقة الغير شركة Google المرسل أو الكلمات إ ازلة طلب مع أوتوماتيكيا المحتوى المزعج قامت البريد ميزة بإضافة مؤخ ار إلى صندوق الهام االلكتروني بريدها,بحيث عملية يتم أج ارء نصي تحليل للبريد االلكتروني الكتروني هام بريد إلى تحليله بعد البريد وتصنيف الوارد : 2 الشكل في كما هام غير الكتروني بريد و 37

38 شكل 2 تصنيف البريد االلكتروني في GMAIL حسب البريد الهام التجارية, أو الكفالة دعاوى تحليل التأمين,والمقابالت التشخيصية :في المجاالت بعض 3 المريض ( تجمع غالبية المعلومات نصية في صيغة مفتوحة على مقابالت( المثال سبيل االولية يمكن الطبية روايات في تلخيصها وكالة إلى سيارتك تأخذ عندما موجزة,أو الصيانة,عادة الشخص الذي بعض بكتابة سيقوم بخدمتك يقوم المالحظات حول هذه الروايات عنها, أخبرته التي المشاكل نصوص تحليل نظام على تدخل و تجمع ان تستخدم يمكن المعلومات مجموعة لتحديد و المشاكل Mining) (Text هذه سيا ارت حول الشائعة الشكاوي معينة,إلخ استكشاف المنافسين مواقعهم في بالتفتيش االلكترونية نوع التطبيقات انواع من آخر 4 المفيدة وهو اآللية المعالجة لمحتويات صفحات مجال في الوب معين على سبيل : وهي )الزحف Crawling المثال,يمكن التوجه إلى صفحة و ويب البدء ب"الزحف" برنامج بها يقوم عملية يدعى ال ازحف, crawler ال ازحف يبدأ من صفحة يقوم ثم معينة الصفحات كل دخول بعملية الموجودة الموجود الصفحة على روابط لها يقوم األولى,ثم بهذه دخلها) التي الصفحات كل على السابقة العملية بتك ارر تلقائيا ان يمكن الطريقة 38

39 الموقع,و ذلك في المتاحة الملفات قائمة إنشاء يتم قيمة معلومات على الحصول بالتالي آلي بشكل المنافسين عن التصنيف التلقائي للمستندات النصية :هي أو على صنف التلقائي التعرف عملية 5 موضوع المستند( رياضة,سياسة,اقتصاد), 2-2- العربية اللغة بنية داللية semantic لغة هي العربية اللغة بناء في معقدة طريقة لها الكلمات حيث أن و أو( (particles الكلمات مصنفة على أفعال أو أسماء أنها العطف و الجر أحرف مثل في األحرف بوصل تشك ل الكلمات و اللغة العربية في حرف األبجدية األحرف في هناك 28 الكلمة( في على موقها اعتمادا بالشكل تختلف األبجدية بداية,وسط,نهاية )على معظم عكس بحرف تبدأ ال العلم أسماء أن اليسار كما إلى اليمين من تكتب العربية اللغة فإن الغربية اللغات استخالص فإن لذلك كبير مهمة العلم هي أسماء و األسماء وتحدي صعب بإضافة prefixes و suffixes تشكل الكلمات إن االنكليزية اللغة في جذر طرفي أحد إلى 3 الكلمة ) Untouchables ( الكلمة أو كالهما مثال الشكل في كما تشكل شكل 3 للكلمة يجعل مما الكلمة داخل تكون أن يمكن الجذر إلى اإلضافات فإن العربية في أما تجريد في حقيقية قضية يسبب المستندات أن الصعب من ألنه العربية, هذا وزن pattern ا " و األحرف الجذر أحرف بين تفرق المضافة مثال الجذر" أجل من شرب "فإن الحرف" إضافة ال Suffixes ) " بالشرب) يقوم الذي شارب" مختلفة كلمة يشكل الكلمة داخل إلى و اعتمادا تصنف على استخدامهم للغات مشابه بشكل الغربية هناك infixes و prefixes 39

40 من صيغة الكلمة لتحويل محددة إلى صيغة المفرد للتحويل و الجمع من صيغة Suffixes [2] إلى صيغة المذكر المؤنث 41

41 Stemming الفصل ال اربع : التجريد هو عملية إ ازلة أي إضافات من الكلمات, واستبدال الكلمات بجذرها مثال : تجريد الكلمة في اللغة االنكليزية ينتج لدينا الكلمة comput وهو نفس جذر كلمة computing computation 0-2- ما الفائدة من التجريد الضغط :Compression لتقليل حجم المستندات, حيث يتم تخزين عدد كبير من - الكلمات بشكلها الجذر, ومن ثم يمكن استخدام برنامج صغير إلرجاع المستند إلى شكله األصلي عند الفتح يقوم بذلك من خالل سياق الكلمة و القواعد لمعرفة الشكل األصلي للكلمة التصحيح اإلمالئي :Spell checking بدال من البحث عن كامل الكلمة في القاموس -, يقتصر البحث على الجذر هذا يقلل حجم القاموس بشكل كبير البحث النصي :Text searching أفضل مثال عن هذا هو محرك بحث الويب - البحث عن جذر كلمة يعطي نتائج أكبر من محاولة البحث عن النتائج المطابقة تماما تحليل نص Text Analysis : مثال في التحليل اإلحصائي لنص, يساعد التجريد في - مقابلة االختالفات النحوية لكلمة مع مثيالت من نفس المصطلح خوارزمية Stemming Algorithms 3-2- التجريد تظهر الحاجة إلى التجريد Stemming Algorithms خوارزميات في تطبيقات عدة في المعلومات معالجة الل غات الطبيعية,ضغط البيانات,استرجاع [3] اللغة في التجريد االنكليزية : عام 1968 بيث, طو ر االنكليزية للغة مجر د أول مارتين بعده جاء ثم جولي قبل من عام 1990 مجلة Program في بحث نشر ورقة حيث بورتر في المجر د وأصبح الذي طو ره 41

42 واسع مارتن االنتشار ومستخدم الخوارزميات من الكثير في ونظم اإلنكليزية اللغة تعالج التي استرجاع المعلومات بورتر, التطبيقات من العديد اليوم تتوفر واألدوات مجر د تستخدم التي البرمجية أن حتى المصدر مفتوح برمجي منتج أصدر نفسه بورتر لخوارزميته عام 2000 في وطرحه أن حيث االنكليزية الل غة طبيعية من االنكليزية للغة فع ال مجر د تطوير في السهولة تأتي جميع اإلضافات على الحاالت بعض ماعدا الكلمة نهاية على تتم الكلمات جذور الخاصة التي مثل ran,run عددها نظ ار لقل ة بمعجم تفاديها يمكن يمكن أيضا يمكن تطبيق خوارزمية مقارنة السالسل String matching على الكلمات االنكليزية لمعرفة الجذر األصلي للكلمة و هذه القاعدة تطبق على عدد كبير جدا من االشتقاقات مثل:, populate Population كما نالحظ يشكل جزء كبير من الكلمة األولى جزء من الثانية الكلمة مجر د على للحصول التالية الثالثة القواعد تطبيق يمكن السابقة القاعدة إلى باإلضافة الفعالي ة: عالي ال ed انتهت إذا الكلمة ب ed بحذف قم عندها 1 ال ing انتهت اذا الكلمة ب ing بحذف قم 2 ال ly انتهت اذا الكلمة ب ly بحذف قم 3 لتحديد الجملة واع ارب التحليل سهولة هو االنكليزية اللغة في التجريد عملية أيضا يساعد ما ورود الكلمات الكالم part-of-speech في بحرف و تبدأ والمدن العلم أسماء جميع مثال هذه على تجريد عملية إلج ارء ال داعي الحالة في هذه و كبير الكلمات,بينما العربية اللغة في هو األساس التشكيل فيعتبر في التحد ي يبرز وهنا الكالم في الكلمات موضع تحديد في األول الكلمات تجريد في اللغة العربية 42

43 ) poerter stemmer ) ريفرينس جيب بورتر مارتن خوارزمية استرجاع نظم في المعلومات IR وتعقيد حجم تخفيض إلى نهدف النظام في المعطيات وهذه المهمة تختلف في حال استخدامك لقاموس تجريد أم ال,كما تختلف أيضا في حال استخدام قوائم suffix أم ال, في النهاية يبقى الهدف من استخدام التجريد هو العامل األكثر تأثي ار على الخوارزمية نظام أداء تحسين هو الهدف وكان تجريد قاموس على خوارزميته في بورتر يعتمد لم قوائم Suffix كل Suffix استرجاع استخدام وتم المعلومات ربط يتم بحيث ال هذا لحذف بمعيار Suffixمن الكلمة لكي كلمة على المعيار هذا تطبيق عند نحصل مجر دة صحيحة أن ER كلمة Wander هو تحدث ان الممكن من التي األخطاء من في ستعالج الكلمة, ال Suffix كأنهاSuffix أن كما من جزء هي الحقيقة في ولكن ها معنى تغي ر أن يمكن فع ال, Probe, Probate غير سيكون حذفها و بالتالي كامل بشكل الكلمة معاني لديهم مثال ) االنكليزية في مختلفة الحقيقة في الحديثة بوضعهم ضمن تقوم لن بورتر خوارزمية نفس الصنف ) ال Suffix حذف برنامج تطوير في مرحلة إلى نصل قد أكثر قواعد إضافة أن بحيث األداء في السلبيات مقدار نفس إلى يؤدي سوف المفردات من معي نة في منطقة األداء لتحسين نالحظ هذه إذا أخرى, اماكن في بشكل البرنامج تعقيد يزداد ان يمكن المناسب الوقت في الظاهرة ذلك من عائدة فائدة دون كبير جدا نادرة العملي التطبيق في لكنها و هامة لك تبدو قد حاالت على تؤكد أن السهل من DECEIVE/DEVEPTION, RESUME/RESUMPTION, مثال : INDEX/INDICES ناد ار ما تتكرر هذه الكلمات عمليا في المستندات, لذلك كتابة قواعد خاصة بهذه الكلمات يزيد تعقيد البرنامج بشكل كبير دون الحصول على إيجابيات تذكر المعقدة األنظمة مع مقارنة استرجاع نظم في المستخدمة المعلومات,تم مقياسي تطبيق الPrecision و Recall تطبيق IR تم مستندات على كانت عليها النتائج كمايلي: 43

44 نظام من أكثر األداء تحس ن لم المعقدة األنظمة تلك أن كما يختلف لم األداء أن الواضح من بورتر البسيط بورتر خوارزمية )الحرف حرف هو الساكن( : غير A,E,I,O,U و Y بحرف تسبق ال التي ال Consonant مثال ساكن فيها الساكنة األحرف في ولكن هي, T,Y كلمة SYZYGY األحرف, كلمة TOY هي الساكنة S,Z,G (الحرف الصوتي) : هو ساكن ليس حرف ال Vowel الحرف نرمز سوف الصوتي ب v و الساكن ب c من أكثر عددها التي, تسلسل ccc صفر يرمز لها ب C السالسل وكذلك كبيرة يرمز من صفر أكثر عددها التي الصوتية vvv كبيرة لها ب V التالية: نماذج أربع أحد له كلمة من جزء أو كلمة أي وبالتالي CVCV C CVCV V 44

45 VCVC C VCVC V هو [C]VCVC [V] واحد بنموذج ترميزهم يمكن وبالتالي األقواس أن حيث من محدد غير لعدد ترمز المتوسطة المحتويات,أما الشكل عن يعبر تك ارر VCبمقدار M يلي: كما الكتابة إعادة فيمكن مر ة تشملwords null إذا لذلك المقياس, كانت 0=m فإنها تسمى m m = 0 TR, EE, TREE, Y, BY m = l TROUBLE, OATS, TREES, IVY m = 2 TROUBLES, PRIVATE, OATEN, ORRERY لحذف القواعد ال Suffix بالشكل تعطى (condition) S1 S2 تنتهي الكلمة كانت إذا يعني الكلمة و عندئذ الشرط تحقق نبدل S1 ب ب Suffix S1 قبل S1 نستخدم عادة الشرط وهذا, مثال: فيه m S2 (m>l) EMENT هنا أي احذفها,مثال ال S1 هي EMENT و S2 هي null الكلمة Replacement تحو ل إلى Replac ان Replac فيها 2=m طالما أيضا : يتضمن أن يمكن الشرط قسم *S the stem ends with S (and similarly for the other letters) 45

46 *v* the stem contains a vowel *d the stem ends with a double consonant (eg -TT, -SS) *o the stem ends cvc, where the second c is not W, X or Y (eg - WIL, -HOP) مربوطة ب and, or, not تعابير يتضمن أن يمكن الشرط قسم أن كما مثل: (m>1 and ( *S or *T)) ل S1 فيه m>1 او T اليساري القسم كان إذا فيما تختبر وينتهي ب S 46

47 العربية اللغة في التجريد العربية : في للتجريد مختلفة طرق أربع تعريف نستطيع يدوي بشكل قواميس بناء - يحذف خفيف مجرد ال prefixes وsuffixes - - تحليل morphological الجذور إليجاد والذي إحصائي مجرد يجم ع التشكيالت العنقدة تقنيات باستخدام للكلمة المختلفة - Al- تستخدم معلومات مع يدوي بشكل المبنية القواميس بشكل كبير التجريد قام طور Tim Buckwalter األوازن و الجذور من قواميس ببناء Evens و Kharashi و prefixes و suffixes أوازن ذات مفردات من مجموعة التركيبات على تدل حقيقة جداول مع مجموعة قامت و المسموحة الBBN على طبقوها و الجدول ذلك على يعتمد مجرد باستخدام TREC-2001 ال prefixes مجموعة صغيرة من الكلمة تجريد عملية على يدل الخفيف التجريد من و/ وأ التعامل محاولة بدون استنتاج و الوزن تمييز محاولة أو يوجد الجذر ال مع infixes suffixes suffixes ال prefixes قوائم موحدة أو خوارزمية من منشورة ال و التجريد أن من الرغم على يجمع الكلمات أن يستطيع الخفيف في صفوف تجريد األشكال بعض تجميع في يفشل كبيرة,فهو النظامي غير الجمع مثل لألسماء و لها المفرد الشكل مع تجميعها يتم ال الصفات قبل Kareem عدة تم تطوير محلالت morphological من المطور المحلل مثل للعربية من المطور المحلل و الجذور أو الجذر يجد بعضها قبلGarside Khoja and Darwish كامل المحتملة للكلمة وبعضها بشكل قواعديا الكلمة تحليل يحاول يوضح الم ازيا الختيار عديدة كلمات أن الحظ, features الشكل (4) عملية stemming مثل :الكتاب,الكاتب,المكتبة إلى stem إرجاعها تم واحدة هي :كتب 47

48 شكل 4 عملية التجريد الختيار المزايا Light Stemming التجريد الخفيف األشكال أن هنا األساسية الفكرة بالرغم مختلفة دالالت أو معاني تحمل للكلمة المختلفة root الجذر نفس لها أ ن من لتحسين الكلمات معاني إبقاء إلى نهدف هنا بالتالي و التصنيف خوارزمية Aljlayl and ذلك و بحذف prefixes و suffixes مسبقا تم معرفة استخدام ال prefixes ال suffixes تحذف و تحدد أن تحاول دوارت عدة من تتألف التي و و Frieder من تك ار ار األكثر الكلمة بالرغم من أن التجريد الخفيف أن يجمع أشكال مختلفة للكلمة في صف واحد, إال أنه قد يفشل في ضمن أشكال أخرى يجب أن تكون في نفس الصف الشكل (5) عن مثال يعطي ال light stemming 48

49 شكل 5 توضيح عملية التجريد الخفيف Light Stemming تتلخ ص خطوات Light Stemmer بمايلي: من "و" حذف بقية كانت إذا 1 أجل light2 و light3 و light8 الكلمة 3 من أكثر أو الكلمات من العديد ألن مشاكل تسبب أيضا فهي حذف"و" من الرغم على المحارف أدوات حالة في منه أكثر الكلمة طول على شرط وضعنا لذلك الحرف بهذا تبدأ العربية التعريف يترك 2 المحارف من أكثر أو ذلك كان إذا التعريف أدوات من أي احذف 2 قائمة على بالمرور قم أي بحذف وقم الجدول في كما لليسار اليمين من ال suffixes 3 كانت إذا الكلمة نهاية من ستترك 2 المحارف من أكثر أو suffix الشكل في موضوعة تحذف سوف التي السالسل و التعريف أدوات هي عادة,)6( ال prefixes العطف 49

50 اعتبارها prefixes المجردات يتم سالسل أي تحذف ال الناتجة الخفيفة أن نالحظ ال light stemming الخالف على محافظا بقي أن حيث الكتاب و بين :الكاتبون ال light stems كتاب و هم :كاتب لهم بحثها (2) الشمري إيمان طو رت في ونشرتها تقطيع خوارزمية خطوات تتألف من: الخوارزمية Input: Arabic document Output: Stemmed document, Noun Dictionary, Verbs Dictionary V: Verb dictionary (one dimensional array sorted alphabetically) N: Noun dictionary (one dimensional array sorted alphabetically) NSW: Array of stop words proceeding nouns VSW: Array of stop words proceeding verbs SW: Array of stop words (including both NSW and VSW) Phase Zero: Remove useless stop words Phase One: Simple Noun Identification and Noun Dictionary Generation Locate words attached to definite articles, and preceded by NSW and flag them as Nouns, Add the identified words to N Phase Two: Suffix and Prefix removal Apply suffix and prefix approach to the entire document Longest suffixes and prefixes are removed first Phase Three: Verbs Identification and Verb Dictionary Generation Verbs proceeded by VSW are flagged and added to the V Phase Four: Find all noun tokens Phase Five: Stop Word Removal; Remove useful and useless stop words Phase Six: Root Extraction for Verbs Phase Seven: Roots are extracted by comparing Verbs to Arabic Root patterns;words with missing tags are considered nouns and lightly stemmed ال stop words حذف يتم األولى المرحلة في م ارحل عدة من الخوارزمية هذه تتألف لتقليل حجم مفيدة الغير معطيات الدخل بعدها بالبحث األسماء نعرف عن ال stop words 51

51 األسماء تسبق دائما التي )مثل :ال ال بحذف خفيف بشكل تجريدها يتم األسماء هذه التعريف) prefixes ال suffixesو بعدها تضاف و وسم يتم المرحلة هذه عام في أسماء قاموس إلى كتحضير أسماء أنها على الكلمات هذه لمرحلة التجريد على بإيجاد نقوم العملية تلك مع التوازي عن بالبحث األفعال ال stop words دائما التي تسبق األفعال و نضيف الطريقة بنفس أفعال في أنها على وسمها يتم و عام أفعال قاموس إلى األفعال يوجد أن يمكن ال اللغة العربية الكلمة stop إما stop word فعلين متعاقبين,لذلك هي الفعل تلي كلمة أي لم تكن اسم إذا أو wordعندها اسم أنها على توسم و أسماء قاموس إلى الكلمة تضاف على اعتمادا المناسبة التجريد عملية إلى الكلمة نوجه أن قبل الوسم,نقوم ال كل بحذف يعودوا لم أنهم طالما الكلمات لوسم أخرى مرة المستند علي المرور يتم مفيدين و stop words كجدول وسمها باستخدام يتم لم التي المخزنة و عليها الحصول تم التي األفعال و األسماء خفيف [2] بشكل ستجرد و أسماء أنها على ستعالج ألي فئة تنتمي ال تبقى التي الكلمات انظر [4] العربية باللغة خاصة التوقف بكلمات الئحة يوجد الكلمات أو ازن تحليل قبل Khoja و Garside استخدام تم من المطور البرنامج الكلمة بتجريد يقوم الذي و ال suffixes طبقات من من ال prefixes و من قائمة يستخدم بعدها و الجذور و األو ازن لوزن تابع معروف جذر هو الكلمة بقية كان إذا فيما ليحدد معروف إذا بإرجاع يقوم كذلك كان األصل غير الكلمة يرجع إال و الجذر معدلة هذا الكلمات يحذف النظام من قائمة في الموجودة على عكس جدول تملك ال الطريقة هذه Buckwalter طريقة 168 Arabic stop words ال Khoja يقيد ال affixes و األو ازن المطبقة على الجذور مجرد أسماء مع مشاكل أظهر قام لذلك العلم الشم ري [5] العظمى المدن أسماء و أسماء البلدان من الئحة بتضمين المترجمة تجريدها يتم ال و للتجزيء قابلة غير تعتبر التي و العربية إلى ال morphological المحلل باختبار الشم ري أيضا قام االئحة تلك جود و بدون و مع من األسماء 51

52 البسيط المجر د بالصوتيات من العديد العربية في فقط داخليا تختلف واحد جذر من المشتقة األو ازن الصوتيات هذه حذف يقلل صفوف الصف حجم ويزيد الخفيف التجريد الواحد يتألف التجريد القصيرة, ء, ي, و, التجريد الخفيف من البسيط حذف و الصوتيات الصوتيات أن )حيث ا )normalization و الحركات,يتم عملية خالل حذفها ازئد البسيط التجريد يكون أن إلى نهدف بالتالي نستطيع و النماذج من العديد ليجمع الطرق تطبيق اإلحصائية تلك لفصل أفضل بشكل المجموعات تم استخدام 3 مجردات بسيطة: بسيط :الكلمات حذف من تنتج المجردة الكلمات من الصوتيات الnormalization - يطبق بسيط 2 حذف بعدها و : التجريد light2 الصوتيات - يطبق بسيط 8 حذف بعدها و : التجريد light8 الصوتيات - الكلمات تحليل المت ارفقة ال khoja تصفية( إعادة أجل من استخدم تقسيم )خرج المجردات مجرد و البسيطة و ازئد بأكثر تجريد يقومون الذين حذف من المؤلفة العملية على سيطلق التصفية و الصوتيات إعادة أي بواسطة Co-occurrence Analysis اسم repartitioning التجزئة التحليل, و المت ارفق للكلمات Co-occurrence Analysis مقياسem على يعتمد قليال يختلف الذي المتوقعة ), عنEMIM expected mutual information ( المعلومات أي المتبادلة هو و كلمتين a و b يقيس مقدار ت ارفق مما يتوقع أكبر يكون الذي كلمتين بالصدفة فمن أجل يعرف em كما يلي: 52

53 حيث: هو عدد م ارت ورود و window في نص بحجم ثابت b a - عليها corpus عدد ورود a و b مجموعة في المعطيات المعمول - العدد المتوقع للورود المت ارفق ل و هو و k ثابت حيث b a - يعتمد على حجم ال و ال window يقدر من عينة من 5111 زوج حيث k corpus من الكلمات مختارة عشوائيا كما يلي: ( 150 كمتوسط ( التجربة هذه في المستندات قصيرة العربية كلمة استخدمنا طول لذلك ال كحجم المستند لتقسيم مجموعات مقياس يحسب التجريد window أزواج الكلمات كل أجل من في المجموعة كمرحلة أولى,يتم استخدام لربط خوارزمية ال em كان إذا الكلمات أزواج لهم يتجاوز عندما ال em العتبة em threshold أو emthresh أكبر الناتج العنقود حجم يتم المرور عندئذ ذلك و األمثلية على للحصول ثانية بمرحلة من 12 األمثلي التقسيم بتطبيق الثانية المرحلة في التقريبي approximate optimal partitioning األزواج كل وفق المت اربطة تستخدم لحساب مقياس التالحم أو العام المالءمة معيار em للمجموعة يتم استخدام إلعادة تصفية المجموعة بإبقاء ذلك و خوارزمية greedy cohesion تزيد التي الكلمات يتم بتجزئة هذا تضعفه و التي الكلمات حذف و المجموعة الل cohesion كان إذا مجموعتين بدمج متكرر بشكل نقوم بعدها و واحد عنصر ذات مجموعات إلى لهما cohesion لهم أعظمي الخوارزمية مجموعتين أي يوجد ال عندما تتوقف ال cohesion بمجموعة تندمج الكلمات كل عندما موجب أو واحدة ال cohesion لكلمتين a و b يلي: كما يحسب em(a,b) δ 53

54 الدقة سنؤذي الكلمات بتوحيد قمنا إذا الذي المتوقع المقدار هي به وال cohesion حيث δ لمجموعة هو ال cohesion مجموع المجموعة في الكلمات أزواج لكل به Xu و Croft أن = 001 emthresh و = δ قام الذي العمل في وجدوا تعمل بشكل جيد للمجموعات البا ارمت ارت هذه قيم بتنويع القيام التقنية تم عليها طبقوا التي دون للعربية إلى نتائج الوصول أفضل [6] الطرق التجريد في اإلحصائية language-independent توفر الط ارئق اإلحصائية مزج وسائل مستقلة عن اللغة, يمكن وضع الكلمات المتشابهة في مجموعات اعتمادا على approach to conflation مقاييس تشابه سالسل مختلفة, كالn-gram تم تطبيق التقنيات اإلحصائية التحليل على واسع بشكل التلقائي للتصريف, computational linguistics اللغويات الحسابية morphologicalفي مجال كمثال, وجد ال stems Goldsmithأفضل مكونة من مجموعة الsuffixes و التي تظهر بشكل متكرر, نظرية في مقياس باستخدام المعلومات n-gram stemmers حيث يتم حساب مقياس للت اربط بين زوج من المصطلحات اعتمادا على المقاطع المميزة المشتركة, هذه المقاطع مكونة من محرفين, كمثال : statistics => st ta at ti is st ti ic cs unique digrams = at cs ic is st ta ti statistical => st ta at ti is st ti ic ca al unique digrams = al at ca ic is st ta ti (Dice s coefficient مقدار التشابه) S 2C 2*6 80 A B

55 يمثل عدد المقاطع المميزة unique في المصطلح األول A عدد المقاطع المميزة في المصطلح الثاني عدد المقاطع المميزة المشتركة بين زوج المصطلحات B C يتم تحديد مقدار التشابه لكل أزواج المصطلحات في قاعدة البيانات, لتتشكل مصفوفة تشابه حالما تصبح هذه المصفوفة متاحة, يتم تجميع )تصنيف( المصطلحات باستخدام إج ارئية عنقدة لن لكنها مختلفة,و لغات عدة مع تستخدم أن يمكن األنظمة هذه مثل أن من الرغم على ال suffixes فيها التي و العربية مثل لغات مع جيد بشكل تعمل اإلضافات تمثل ال الوحيدة استخدامها يمكن لكن و الممكنة مساعدة كتقنية التي الكلمات لتجميع العربية الكلمات على العنقدة استخدم Al-Fares و De Roeck الصرفي morphological الجذر و بنفس تشترك التشابه على العنقدة في اعتمدوا باستخدام لسالسل تشابه معيار ال من عدد صغير حذف بعد تطبيقه يتم و العربية للغة مصمم المحارف affixes الواضحة المجردات من نوعين ترتكب الخطأ,فالتجريد الكلمات توحيد في يفشل الضعيف المت اربطة تشكيل إلى يميل ال ازئد التجريد و مجموعات غير و مت اربطة كلمات تحوي مت اربطة,أكثر الخطأ من النوعين كال ترتكب و الحدين هذين بين تقع المجردات مجموعات لقسم تحليل طريقة بواسطة المنشأة الكبيرة التجريد استخدم Xu و Croft عنقدتها إعادة يتم حيث ال ازئد التجريد ارفق المت الورود مقياس على باالعتماد للكلمات- co occurrenceو اللغة عن المستقل المستخدمة و استخدموا قد فعال بشكل ليجردوا تقنيتهم نقطتين أظهروا و االسبانية و االنكليزية هامتين :األولى موجود مجرد ندعم أن نستطيع أننا هو على co-occurrence analysis االعتماد خالل من مسبقا الدقة تحسين و المتوسطة,الثانية مجرد n-gram مثل ازئد بتجريد و خبرة كافية بدون بمجرد البدء نستطيع أننا هو و استخدام 55

56 ي, ئ, إلنتاج مجموعات أو صفوف المجرد مثل تعمل تجريد co-occurrence analysis االحترفي تجريد خوارزمية Khoja خوجا شيرين طو رت مجر د Root Stemmer و األداء حيث من األفضل هو األن حتى يعتبر الدقة, يسير Khoja Stemmer الخطوات وفق التالية: 1 إ ازلة diacritics العالمات عن المعبرين الثالثة: الصوتية Shadda a شدة Nunation b تنوين Vowel c )فتحة,ضمة,كسرة) 2 إ ازلة ال stopwords مثل :الذي,الذين,,التي,باللواتي,,غير,غيرهما,أبغير,إذا, فإذا,أي المعاني تحمل ال التي الكلمات األساسية,و األرقام و الترقيم عالمات إ ازلة 3 إ ازلة " ال "التعريف العطف" حرف 4 إ ازلة و "الملتصق بالكلمة( ببدايتها) 5 حذف 6 حذف الsuffixes الprefixes مناسبة, من قائمة مع الناتجة الكلمة مطابقة األو ازن patterns مطابقة وجدت فإذا 7 استخرج ال pattern في الحروف الجذر عن المعبرة الجذور من قائمة مع المستخرج الجذر مطابقة الصحيحة 8 األحرف 9 بدل الناقصة " و" "ب" ا,و " أ" الهمزة 10 بدل بأشكالها ",ء "ب ؤ 56

57 س" ال " 11 إج ارء تحقق فإذا الناتجة الكلمة في حرف مضاعفة يجب كان إذا فيما فحص عملية بمضاعفة نقوم ذلك الحرف عدة له إن Khoja stemmer نقاط ضعف: بشكل صحيح تجرد سوف الجديدة الكلمات أن ليضمن لصيانة يحتاج الكلمات جذور 1 قاموس منظمات " بالكلمة عالقة له ليس جذر تنتج التي القواعد بعض 2 هناك األصلية,مثال الكلمة" ال prefix حذف عندما الجذر من جزء حذف تم إذ من" بدال إلى" تجرد ظمأ " نظم " تمت و األخير في همزة إضافة من معين 3 بترتيب ال affixes في يخفق قد تجريدهم,مثال الكلمتين" ركبتيه "و" تستغرق [7] الجذرين" من مشتقين أنهم من الرغم على تجريدهم يتم غرق" ركب "و" خوارزمية - ISRI - العربية: اللغة لتجريد المعلومات The Information Science Research علوم بحوث لمعهد تابع الم ج ر د هذا مع Khoja stemmer الخصائص من بالعديد يشترك هو لكن و Instituteو ISRI الكلمات لجذور قاموس يستخدم أنه ال هو الرئيسي الخالف الصوتية( diacritical marks بتعريف قمنا العالمات من مجموعات الشكل في التالي :الحرف "في ال diacritic المجموعة D ع لتوضيح كيف و ض يطبق الحرف )و على اإلضافات من أصناف affixes كما في الشكل )7( : 57

58 ئ, ال stemmer سيحذفها التي األج ازء هي هذه بعض عرفنا فقد الكلمات أو ازن أما مجموعات : )8( من الشكل في كما األو ازن العمل: خطوات أما إ ازلة ال diacritics عرفناها التي 1 القيام ب normalization عدة مع أشكال بعدة تظهر التي الهمزة تحويل أي للهمزة 2 أحرف( مثل أ,ؤ وهذا ضروري أ" واحد" شكل,ء )إلى مثل كلمات أن لنضمن "تأكل "و" أؤ كل " بعد الجذر نفس ت رج ع إلى حذفprefixes إ ازلة أحرف 3 فشل فإذا محاولة أوال الترتيب( بهذا و حرف 3 ال prefixes بطول 3 و 2 محاولة 2( 58

59 عطف) حرف سيكون و( "ألنه ب" تبدأ كلمة سبق إذا الحرف" حذف 4 و " القيام آ,أ,إ "إلى" لل" ال الحالة هذه في الهمزة حذف أن ا "حيث 5 ب normalization على الجذر يؤثر أو أقل كانت إذا الناتجة الكلمة إرجاع أحرف ألن الكلمة تقصير محاولة تساوي 3 6 ينتج كلمة أكثر غامضة الكلمة: طول على اعتمادا حاالت أربع هناك 7 أحد الكلمة طابقت إذا الطول األو ازن الشكل 2 )في ) استخرج من PR4 : 4= a حذف suffixes الجذر المناسب الطول 3 حاول إال أرجعه,و و ذو و P1 من S1 prefixesبطول 1 ليست الكلمة أن اعتبار على الترتيب على و طول 3 من أقل أحد الكلمة طابقت إذا الطول األو ازن من PR53 الجذر استخرج : 5= b حذف suffixes و prefixes المناسب حاول إال أرجعه,و و ذو الطول 3 PR54 الكلمة بقيت إذا 5 مع المطابقة تتم محارف يتم مطابقة حصلت فإذا بطول جذر إرجاع 4 6: إذا طابقت الكلمة أحد األو ازن من PR63 استخرج الجذر c الطول = suffixes المناسب ذو الطول 3 و أرجعه, و إال حاول حذف فإذا ح ذ ف و b 7 كانت الكلمة الناتجة بطول 5 أرسل الكلمة للمرحلة خطوة و إال حاول الطول 4 للمرحلة 7 حذف prefix بطول محرف فإذا ح ذ ف ذات الكلمة أرسل خطوة a الطول حاول الكلمة أرسل نجحنا فإذا : حذف suffix و prefix بطول 1 7= d ذات الطول 6 المرحلة 7 خطوة c إلى أن تحاول و المعالجة أغلب تأخذ تطابق فإنها نجحت فإذا تحذف affixes بطول 1 المرحلة 7 الكلمة الناتجة التصاريف مع المطابقة في ننجح حتى طولها حسب المختلفة أو الجذر استخ ارج تصبح الكلمة أن يتم إعادتها[ 8 ] و قصيرة 59

60 الفصل الخامس : عنقدة المستندات Documents Clustering تعتبر العنقدة Clustering أهم مسائل التعليم دون االش ارف, حيث تقوم بإيجاد بنية في مجموعة بيانات غير معنونة, تعريف فضفاض للعنقدة يمكن أن يكون : " عملية تنظيم أغ ارض ضمن مجموعات بحيث تكون أعضاء المجموعات متشابهة بشكل ما " العنقود Cluster هو تشكيلة من األغ ارض المتماسكة داخليا, ولكن وضوحا غير مشابهة ألغ ارض في عناقيد أخرى شكل 6 تقسيم الداتا إلى ثالث عناقيد في هذه الحالة شكل- 6, يمكننا بسهولة تحديد ثالث عناقيد التي يمكن تقسيم البيانات إليها, معيار التشابه هنا هو المسافة أو البعد, حيث أنه اثنان أو أكثر من األغ ارض تنتمي لنفس العنقود إذا كانوا قريبين من بعضهم بحسب بعد معطى )في هذه الحالة البعد الهندسي ) هذه يسمى العنقدة المعتمدة على المسافة distance-based clustering,وهو ما استخدمناه في بحثنا هذا نوع آخر للعنقدة هو العنقدة المفهومية : conceptual clustering اثنان أو أكثر من األغ ارض تنتمي لنفس العنقود إذا كان هذا العنقود يعرف مفهوم مشترك بين جميع أغ ارضه بكلمات أخرى تتم العنقدة استنادا إلى مالئمتها لمفاهيم موصوفة, وليس تبعا لمقياس تشابه بسيط 61

61 0-5- تصنيف خوارزميات العنقدة يمكن تصنيف خوارزميات العنقدة كما يلي : : تشكل مجموعة من العناقيد بدون بنية صريحة من الممكن أن Flat clustering 1 تجمع العناقيد مع بعضها : تشكيل بنية من العناقيد Hierarchical clustering 2 : يربط كل مستند/غرض مع عنقود واحد فقط Hard clustering 3 : توزيع المستند/الغرض على كل العناقيد Soft clustering خوارزميات العنقدة 1 Agglomerative (Hierarchical clustering) 2 K-Means (Flat clustering, Hard clustering) 3 EM Algorithm (Flat clustering, Soft clustering) K-Means تم تطبيق خوارزميات (HAC) Hierarchical Agglomerative clustering و cosine على عنقدة النصوص بطريقة مباشرة, عادة تستخدم أشعة TF-IDF-weighted و similarity K-Means Algorithm -3-5 تعرف خوارزمية K-Means لفعاليتها في عنقدة مجموعات داتا ضخمة تم تطوير هذه الخوارزمية من قبل, و هي واحدة من أبسط و أشهر خوارزميات التعليم MacQueen دون اإلش ارف التي تحل مسائل العنقدة المعروفة تهدف خوارزمية K-Means لتقسيم مجموعة من األغ ارض, اعتمادا على مي ازتها إلى k عنقود الفكرة الرئيسية, attributes/features هي تعريف مركز, واحد من أجل كل عنقود يتم تشكيل م اركز العناقيد بشكل centroid k تكون قريبة إلى كل األغ ارض في العنقود, و ذلك بحسب تابع التشابه يمكن قياس التشابه 61

62 Extended, Euclidean distance, باستخدام ط ارئق مختلفة مثل cosine similarity Jaccard خطوات خوارزمية K-Means األساسية Choose k number of clusters to be determined 2 Choose k objects randomly as the initial cluster center 3 Repeat 31 Assign each object to their closest cluster 32 Compute new clusters, ie Calculate mean points 4 Until 41 No changes on cluster centers (ie Centroids do not change location any more) OR 42 No object changes its cluster (We may define stopping criteria as well) 7 شكل خطوات خوارزمية K-Means 62

63 8 شكل انتقال المراكز من نقطة ألخرى خالل تكرار مراحل الخوارزمية Residual Sum of Squares هو مقياس لمدى مالئمة تمثيل الم اركز لعناصر العناقيد التي تمثلها, المسافة المربعة RSS لكل شعاع من المركز الذي يمثله, ثم يتم الجمع على كل األشعة 63

64 شرط التوقف يمكننا تطبيق واحدة من شروط التوقف التالية : - عدد محدد من الدو ارت التي تم إكمالها يحد الشرط من زمن تنفيذ خوارزمية العنقدة, ولكن في بعض الحاالت كفاءة خوارزمية العنقدة ستكون ضعيفة بسبب عدد دو ارت غير مناسب - ال يتغير إسناد المستندات إلى العناقيد ال يتغير بين الدو ارت ما عدا من أجل حاالت مثل نقطة محلية صغرى سيئة, هذا يقدم عنقدة جيدة, ولكن زمن التنفيذ من الممكن أن يكون كبير بشكل غير مقبول الم اركز ال تتغير بين الدو ارت هذا مكافئ لعدم اإليقاف عندما تكون RSS تحت - العتبة يؤكد المقياس أن العنقدة بجودة مرغوبة بعد اإليقاف عمليا, نحنا بحاجة لجمعها مع حد عدد دو ارت لبلوغ حالة اإليقاف توقف عندما يصبح تناقص تحت عتبة من أجل t صغيرة, من الممكن أن t RSS - نصل إلى حالة الconvergence مجددا نحن بحاجة إلى جمعها مع حد على عدد الدو ارت لمنع زمن التنفيذ الطويل الخيار السيء لحالة البداية لسوء الحظ في خوارزمية K-Means من الممكن أن ال نبلغ النقطة الصغرة الشاملة, هذه مشكلة عملية إذا كانت مجموعة المستندات تحوي مستندات متطرفة global minimum عدة, هذه المستندات التي تكون بعيدة من أي مستندات أخرى و بالتالي ال تالئم بشكل جيد أي عنقود إذا تم اختيار مستند متطرف كمركز بداية, عندها ال يوجد أشعة أخرى ستسند إليه خالل الدو ارت المتالحقة وبالتالي ممكن أن نحصل على singleton cluster و هو العنقود الذي يحوي مستند واحد فقط, مع ذلك من المحتمل وجود عنقدة مع قيمة RSS أقل 64

65 استالل فعال الختيار الم اركز االبتدائية يتضمن : استبعاد المستندات المتطرفة من المجموعة المقترحة للمراكز االبتدائية تجريب عدة نقاط بداية و اختيار العنقدة مع أقل تكلفة تحديد نقاط بداية من طرق أخرى مثل hierarchical clustering 65

66 الفصل السادس : القسم العملي 0-6- األدوات المستخدمة في المشروع: لغة البرمجة المستخدمة هي java ومن المعروف أن من أهم ممي ازت هذه اللغة هي 1 قدرتها على مالئمة أنظمة تشغيل مختلفة العتمادها على ال (Java Virtual Machine) لذلك اعتمدناها في تنفيذ المشروع المجرد للغة االنكليزية Porter والذي تم شرح آلية عمله في القسم النظري 2 المجرد Arabic Stemmer للغة العربية من تصميم شيرين الخوجا والتي ذكرت في 3 القسم النظري أيضا المكتبة للغة البرمجة Java والتي تقوم باستخ ارج النصوص من مختلف صيغ Tika 4 المستندات شرط أال تكون هذه الملفات محمية أو مقفلة بكلمة سر والمطورة من قبل Apache يمكن الحصول على هذه المكتبة من ال اربط: الصف والمسمى في التطبيق DirectoryMonitor والمطور من قبل WatchDir 5 Oracle والذي يتيح خدمة ت ارقب التعديالت التي تحصل على الملفات استفدنا في العديد من أج ازء التطبيق من التطبيق المطور من قبل Ray Mooney والموجود على ال اربط التالي: 6 خطوات العمل: إن عملية البحث في محتويات الملفات اعتمادا على آليات تخزينها في النظام يتطلب وقتا طويال كذلك معالجة كبيرة مما يجعل عملية البحث بهذا الشكل غير مرغوبة من خالل التجريب على عدة صيغ من الملفات باستخدام ملف مكون من 511 صفحة حيث قمنا بنسخ محتوياته في كل من هذه الصيغ وجدنا النتائج التالية: 66

67 متوسط الزمن الالزم للبحث 15 ثانية 1 ثانية 15 ثانية صيغة الملف PDF Word (docx, doc) الملف النصي txt Word PDF لذا إذا افترضنا أن لدينا مجموعة ملفات )ولتكن 111 ملف ملف و 111 و 111 ملف نصي( كل منها يحوي 511 صفحة ونريد البحث فيها عن كلمة على افت ارض أن البحث يتم بشكل متتالي دون الحاجة لفتح كل ملف على حدى فإن العملية ستستغرق الوقت التالي وسطيا : 100 * ( ) = 1650 seconds = 275 minutes وهذا زمن غير مرغوب أبدا ويجعل الفائدة من عملية البحث ضعيفة 2 بناء على ما سبق وجب إيجاد صيغة تخزينية موحدة لجميع صيغ الملفات النصية: في آلية البحث السابقة يتم البحث في كل ملف على حدآ عن الكلمة أما الطريقة األفضل فهي تصنيف كل الكلمات الموجودة في هذه الملفات مع تك ارر كل منها في كل ملف بالتالي تتم عملية البحث على الكلمات مباشرة بعد إلغاء تك اررها وحذف كلمات التوقف منها ولهذه الغاية استخدمنا صيغة في ال هي ال HashMap يلي: بنيته كما Java جدول من سجالت عديدة كل سجل فيه يتكون من مفتاح Key )سيتم استخدامه لتخزين الكلمات( و قيمة Value )سيتم استخدامه لتخزين معلومات كل كلمة كتك اررها والملفات التي تحتويها وغيرها( لذا استخدمناها بالشكل التالي: 67

68 شكل 9 الشكل العام لجدول الكلمات HashMap شكل 11 الشكل العام لكل مدخل من الجدول فالمصفوفة هي عبارة عن المفاتيح وكل قيمة هي عبارة عن قائمة من الملفات وطبعا فإن النمط HashMap يتيح البحث ضمن مفاتيحة بسرعة جيدة 3 بعد تحديد الصيغة التخزينية نحتاج إلى تصميم يقوم بالمرور على كل ملف من الملفات الموجودة ضمن مجلد معين وجميع مجلداته الفرعية من أجل تصنيفها كما سبق لذا استفدنا من ال Iterator Design Patthern وهو نموذج تصميم يمر على محتويات صيغ مختلفة بشكل تسلسلي بناء على ما سبق يتضح أنه من المطلوب قبل البدء بعملية البحث تصنيف جميع 4 الملفات الموجودة في هذا المجلد )ومجلداته الفرعية( وهذه العملية تستغرق زمنا 68

69 إذن ما الفائدة إذا كنا استبدلنا الزمن الالزم للبحث في كل ملف بزمن تصنيف الملفات في الحقيقة إن عملية تصنيف الملفات لمجلد ما تتم مرة واحدة ومن ثم يتم تخزين هذا التصنيف) سنتعرض الحقا لمسألة تحديث هذا التصنيف بناء على العمليات على الملفات ولمسألة الحجم الالزم لهذا التصنيف( نتيجة: تظهر الفائدة الفعلية لهذا التطبيق عند تخصيص مجلد )أو قرص مثال( للملفات النصية التي نحتاج للبحث في محتوياتها مع العلم أن وجود ملفات من صيغ أخرى ال يعطل العملية أبدا كما يمكن تصنيف كل األق ارص معا أما إذا قمنا بتحديد مجلد لكل عملية بحث فسوف نقع في مشكلة التأخير الزمني بسبب التصنيف بالتالي تنخفض الفائدة العملية من التطبيق 2-6- آلية العمل: الواجهة الرئيسية للتطبيق: Browse شكل 11 الواجهة الرئيسية بداية يتم تحديد المجلد الجذر الذي ستتم عملية تصنيفه من خالل زر ثم تبدأ عملية تصنيف الملفات حسب الخيا ارت المحددة من واجهة الخيا ارت )الزر )Options 69

70 شكل 12 واجهة الخيارات حيث الخيار Stemming يتيح تصنيف الكلمات والبحث عنها باستخدام خوارزمية التجريد Porter Stemmer للغة االنكليزية و خوارزمية التجريد المصممة من قبل الدكتورة شيرين خوجا للغة العربية المشروحة في القسم النظري الخيار Subfolders يتيح تصنيف جميع المجلدات الفرعية ضمن المجلد الجذر TEXT النمط HTML يختلف عن بأنه اليهمل الكلمات الموجودة بين عالمتي < و > في html والمسماة Tags الواجهة التالية تظهر انتهاء عملية تصنيف جميع الملفات ضمن مجلد خاص بمواد كلية الهندسة المعلوماتية شكل 13 نتيجة تصنيف ملفات كلية الهندسة المعلوماتية حيث استغرقت عملية تصنيف 481 ملف نصي مختلفة الصيغ تحوي بمجملها على على حاسب مزود بمعالج AMD Athlon X2 64bit و ذاكرة رئيسية بسعة 71

71 حوالي 6 4GB دقائق ونصف و أصبح باإلمكان البحث والحصول على النتائج بزمن ال يتعدى الثانيتين سيقوم الصف DocumentIterator بالمرور على كل الملفات ضمن الملف الجذر ويردها TEXT حسب النمط المختار HTML أو TextFileDocument الصف األب Document والذي يرثه كل من و يتيح الطريقة hashmapvector والتي ترد شعاع من النمط HTMLFileDocument HashMapVector وهو عبارة عن شعاع كل قيمة فيه من مسقطين األول للكلمة والثاني لتك اررها بالتالي الشعاع المعاد يحوي كل الكلمات الفريدة في الملف النصي مع عدد م ارت تك اررها شكل 14 العالقة بين أنواع الملفات المستخدمة في التطبيق خوارزمية إنشاء الجدول :HashMap نقوم بانشاء جدول HashMap فارغ a من أجل كل مستند D )بمعنى آخر أي ملف موجود في مجلد الدخل(: b V ننشئ متجه خريطة التجزئة (HashMapVector) من أجل المستند D V من أجل كل كلمة T في الشعاع T TokenInfo إذا لم تكن T في H موجودة ننشئ فارغ ل ونقوم بإدخالها إلى H D في T ننشئ TokenOccurence من أجل الموجودة نضيفه إلى T الموجود في TokenInfo الخاص ب occlist H: الموجوده في (tokens) نحسب IDF c من أجل كل الكلمات 71

72 H نحسب أطوال المتجهات لكل المستندات الموجوده في d خوارزمية حساب :IDF لنعتبر N عدد المستندات الكلي فمن أجل كل كلمة T في H: occlist T نحسب عدد المستندات M التي تحوي الكلمة )بمعنى آخر طول الالئحة log( N M الخاصه بالكملة ) T فتكون قيمة IDF للكلمه هي ) هذه العملية تتطلب مرور آخر على كل الكلمات بعد أ ن تتم فهرسة كل المستندات وطول متجه المستند هو الجذر التربيعي لمجموع مربعات أو ازن كلماته, ووزن الكلمة يحسب بالجداء: TF*IDF لذلك يجب أن نقوم بحساب قيمة IDF بعد فهرسة المستندات حتى نستطيع حساب طول متجه المستند لنفترض أننا نخزن أطوال متجهات المستند في وتهيئ بقيم صفرية, من أجل كل كلمة T في (DocumentReference) : H T IDF تكون القيمة I هي وزن للكلمة : T من اجل كل TokenOccurence ل في المستند D عدد م ارت ورود الكلمه D في المستند T تكون C في H (I C) 2 نزيد طول المستند D بالقيمة من أجل كل مستند D التعقيد الزمني للفهرسة: إن التعقيد الزمني إلنشاء شعاع "متجه" وفهرسة مستند يحوي كلمه (token) هو n m وبالتالي التعقيد الزمني لفهرسة,O(n) مستند هو,O(nm) والتعقيد لحساب وزن الخاص بالمفرده هو,O( V ) والتعقيد الزمني لحساب أطوال المتجه هو أيضا V IDF O(nm) وكما نالحظ فإن هذا التعقيد يعتبر جيد ألنه خطي 72

73 آلية التخزين: تتم عملية تخزين هذه البنية في ملف يوضع ضمن مجلد data باستخدام السلسلة Serialization ألن التخزين في قاعدة معطيات قد يحتاج إلى وقت أطول لتحويل النمط HashMap إلى سجالت كذلك إعادة بناءه من القاعدة وتخزينه في ملف نصي يتطلب وقتا ويكون قابل للق ارءة بسهولة من قبل تطبيقات أخرى آلية استرجاع النتائج: بعد انتهاء العملية السابقة تصبح عملية البحث ممكنة وتتم بسرعة ألن البحث في صيغة ال HashMap سريع تتم عملية قياس درجة التطابق بين عبارة البحث وورودها في مستند ما وبالتالي تقييم نتيجة البحث وترتيب الملفات تنازليا أي بدءا من األكثر مطابقة عن طريق الخوارزمية التالية خوارزمية :Cosine Similarity ننشئ HashMapVector وليكن Q خاص بعبارة البحث a ننشئ جدول HashMap فارغ R لنضع فيه الوثائق المستعادة مع تقييمها b Q: في T من أجل كل كلمة c Q في T K و T هو ال IDF الخاص ب هو تك ارر I Q في T هو وزن W حيث W = K * I H من T هي قائمة الملفات التي تحتوي الكلمة L :L من أجل كل ملف O من هي الوثيقة الفعلية لهذا الملف و C هو تك ارر T فيها D إذا لم تكن D موجودة مسبقا في نتيجة البحث نقوم بإضافتها إلى R مع تقييم مبدئي يساوي الصفر ثم نزيده بمقدار W * I * C L نحسب طويلة d من أجل كل وثيقة D في نتيجة البحث: e (S is the dot-product of D and Q) D هو التقييم الحالي ل S 73

74 D هو طويلة Y S = S / (L * Y) S ترتيب الملفات في R تنازليا تبعا ل f أمثلة: 1 مثال على عملية بحث باللغة االنكليزية على المجلد الذي سبق تصنيفه: شكل 15 نتيجة عملية بحث باللغة االنكليزية يقوم الجدول بعرض عشر نتائج على األكثر مع إمكانية االنتقال لصفحة تالية ونالحظ أن لكل ملف أربعة خيا ارت: الخيار Preview يتيح عرض النص الذي يحتويه الملف في محرر ملحق بالتطبيق مع اإلشارة إلى مكان وجود كلمات عبارة البحث في النص الواجهة التالية تظهر نتيجة الخيار على الملف األول 6: IREvaluationppt 74

75 شكل 11 المحتوى النصي للملف األول في النتائج والواجهة التالية تظهر النتيجة على الملف 1 HTTP Introppt حيث نالحظ أنه يحوي الكلمة Information ولمرة واحدة فقط لذا كان ترتيبه متأخ ار شكل 11 المحتوى النصي للملف التاسع في نتيجة البحث الخيار Open Location يفتح نافذة من قبل نظام التشغيل تعرض موقع الملف Adobe Reader, ( يفتح الملف بالبرنامج االفت ارضي لصيغته View الخيار )Microsoft Power Point, Microsoft Word, Notepad 75

76 2 مثال باللغة العربية: والواجهة التالية تظهر أول نتيجة: شكل 11 مثال للبحث باللغة العربية شكل 19 المحتوى النصي األول ملف في نتيجة البحث 2-6- اإلضافات على محرك البحث: أوال : تصنيف الملفات إلى مجموعات بحيث تحوي كل مجموعة ملفات متشابهة في المواضيع اعتمادا على خوارزمية Kmeans Clustering بالتالي االستفادة منها في 76 عرض الملفات المشابهة لملف معين فقد تحتوي على معلومات حول الموضوع الذي يتم البحث عنه

77 Oracle ثانيا : الرزمة MonitorService هي خدمة جافا من تصميم يمكن تشغيلها باستم ارر و ربطها بالمجلد الجذر الذي يتم تصنيفه تقوم هذه الخدمة بتسجيل األحداث التي تتم على الملفات ضمن هذا المجلد من إضافة ملف جديد أو حذف أو تعديل ملف موجود وذلك ضمن ملف updatesser الموجود Transaction ArrayList ضمن المجلد update وذلك في من الصف عند تشغيل التطبيق أو إج ارء عملية بحث جديدة يتم البحث عن التحديثات و تعديل ال HashMap المخزن وبذلك تبقى هذه البنية صالحة للبحث بشكل دائم مثال قمنا بحذف الملف 1IntroductionToMMSpdf فالنتيجة تصبح كما يلي: شكل 21 إزالة الملف المحذوف من نتيجة البحث وكما نالحظ لم يظهر الملف في نتيجة البحث 77